Очень распространенная картина, когда индекс-робот не в состоянии попасть на веб-ресурс по причине наличия в нем случайно установленного в файлах robots.txt ограничения по входу на любую страницу. Типичная ошибка возникает по причине применения пустой директивы Allow:

Раньше для робота поисковой системы Яндекс такое упущение воспринималось как критическое, что закрывало им доступ на посещение сайта. В случае преднамеренного запрета доступа робота к некоторым страницам, веб-мастера и владельцы сайтов зачастую прописывали соответствующую команду.

Понимая это, в компании Яндекс было принято решение об изменении алгоритма обработки роботом данной директивы – теперь она не принимается во внимание в robots.txt. В случае же наличия умышленно оставленного пустого правила Allow, с целью корректного понимания запрета роботом, необходимо изменить правило на директиву Disallow:

Используя Яндекс.Вебмастер, можно увидеть, что открыто к доступу, а что нет. Особенно внимательными следует быть при наличии пустых значений, направленных на запрет индексирования: их следует избегать. Источник: Яндекс