Изменения в обработке robots.txt

Сегодня, 10 июня 2016 года, поменялся принцип индексации сайтов на основе директивы Allow в файле robots.txt. Раньше, поисковые роботы Яндекса, проводящие индексацию сайтов, расценивали пустую директиву Allow как запрет на посещение всех страниц ресурса. В связи с этим, сайт не появлялся в результатах поиска системы Яндекс. Это создавало ряд проблем, ведь владельцы сайтов, которые намеренно закрывали доступ к сайту, прописывали команду запрета.

Теперь же, робот игнорирует пустую позицию Allow, свободно выводя сайт в общий поиск. Ограничить или запретить доступ к Вашему ресурсу можно с помощью директивы Disallow.