Google рекомендует использовать мета-тег noindex вместо команды disallow

На повестке недавно состоявшейся видеовстречи с веб-мастерами, которую традиционно проводил Джон Мюллер, стоял вопрос, как лучше всего закрыть контент от индексации. В частности, один из участников встречи задал известному Гуглмену вопрос, будет ли достаточно для этого применить команду disallow в файле robots.txt.

Мюллер ответил, что блокировка страниц в robots.txt не дает полной гарантии. Возможно, что на заблокированные таким образом страницы с других ресурсов кто-то будет ссылаться. В этом случае будет в приоритете факт внешней ссылки. Специалист Google не исключает, что возможна ситуация, когда страница, якобы закрытая в файле robots.txt, будет проиндексирована после перехода по такой ссылке. В случае если эта страница низкого качества, то сайту это на пользу не пойдет.

С учетом сказанного Мюллер порекомендовал вместо команды disallow использовать мета-тег noindex. Перейдя по внешней ссылке и обнаружив данный тег, Google не будет индексировать содержимое страницы. Она будет навсегда исключена из поискового индекса, до отмены noindex.

Прослушать комментарий специалиста Google можно на видеоролике (с 24:36 мин.):