Мобильный логотип Томатус
+7 (495) 181 01 44
Оставить заявку
Галина Бугаевская

10 Июня 2016, Галина Бугаевская

Изменения в обработке robots.txt

Изменения в обработке robots.txt

Сегодня, 10 июня 2016 года, поменялся принцип индексации сайтов на основе директивы Allow в файле robots.txt. Раньше, поисковые роботы Яндекса, проводящие индексацию сайтов, расценивали пустую директиву Allow как запрет на посещение всех страниц ресурса. В связи с этим, сайт не появлялся в результатах поиска системы Яндекс. Это создавало ряд проблем, ведь владельцы сайтов, которые намеренно закрывали доступ к сайту, прописывали команду запрета.

Теперь же, робот игнорирует пустую позицию Allow, свободно выводя сайт в общий поиск. Ограничить или запретить доступ к Вашему ресурсу можно с помощью директивы Disallow.

Вернуться ко всем статьям