Google дал рекомендации, как заблокировать промежуточный сайт в поиске

22 Августа 2017 1012

Зачастую Google успевает проиндексировать промежуточные сайты (серверы тестирования). Этим обусловлена необходимость блокировать их в поисковиках и давать доступ только ограниченному кругу лиц.

Джон Мюллер опубликовал в социальной сети Google+ пост на тему того, как убрать сервер разработки из поиска, и на будущее поделился рекомендацией, как лучше заблокировать его.

Если сайт отладки был проиндексирован, быстрее всего удалить его с помощью Google Search Console. То есть, требуется подтвердить право собственности с помощью сервиса, затем сделать запрос на удаление страниц, и в течение 90 суток они будут заблокированы в результатах поиска Google. В этот период можно доделать свои работы.

Также Мюллер дал советы касательно блокировки доступа к промежуточным сайтам. Специалист порекомендовал заблокировать доступ на стороне сервера либо при помощи HTTP-аутентификации, либо при помощи белого списка IP-адресов.

Против альтернативных вариантов – noindex, robots.txt – специалист Google выдвинул ряд аргументов: в первом случае страницы должны быть открыты для конкурентов, скраперов и пр., во втором – нужно помнить об изменении файла robots.txt при выкатывании сайта и о возможности индексирования страниц без их содержимого.

Мюллер дал подробные рекомендации в Google+, отметив, что для URL не требуется повторное сканирование в период до нескольких месяцев, поэтому при добавлении блока на уровне URL-адреса может потребоваться от 1,5 лет для полной обработки.

← Вернуться к новостям