Google: не блокируйте страницы повторно после разрешения на сканирование для учета noindex
Сотрудник Google Гэри Илш назвал «глупой идеей» повторную блокировку страниц от индексирования в robots.txt после того, как их сканирование было временно разрешено (после блокировки), чтобы поисковик увидел атрибут noindex. Обсуждение Детали