Просмотр поста

хомяк например вообще блокирует роботов,
Число ошибок за последние 24 ч. при попытке робота Googlebot получить доступ к файлу robots.txt: 42. Чтобы исключить сканирование страниц, доступ к которым заблокирован в этом файле, сканирование было отложено. Частота возникновения ошибок при попытке доступа к файлу robots.txt на сайте: 100.0%. Подробнее об этих ошибках можно узнать в Инструментах для веб-мастеров.

Рекомендуемые действия

Если доля ошибок сайта составляет 100%, выполните следующее.

Попытайтесь открыть файл http://koenig.h2m.ru/robots.txt с помощью веб-браузера. Если файл открывается в браузере, значит у робота Googlebot нет доступа к сканированию вашего сайта. Проверьте конфигурацию брандмауэра и сайта, чтобы убедиться, что доступ для робота Googlebot разрешен. Если файл robots.txt является статической страницей, убедитесь, что веб-служба имеет соответствующие права доступа к нему. Если файл robots.txt создается динамически, убедитесь, что скрипты для его создания правильно настроены и могут выполняться. Проверьте журналы сайта на наличие ошибок в скриптах. Если они есть, определите причину.

Если доля ошибок сайта составляет менее 100%, выполните следующее.

С помощью Инструментов для веб-мастеров определите день с высоким процентом ошибок и проанализируйте журналы веб-сервера за этот день. Найдите ошибки доступа к robots.txt в журналах, созданных в этот день, и устраните их причины. Наиболее вероятной причиной является перегрузка вашего сайта. Обсудите с провайдером хостинга возможность изменения конфигурации веб-сервера или добавления дополнительных ресурсов для вашего сайта.

Когда проблема будет устранена, просмотрите файл http://koenig.h2m.ru/robots.txt с помощью функции Просмотреть как Googlebot, чтобы убедиться, что робот Googlebot может получить доступ к вашему сайту.

Подробнее об этом можно узнать в нашем Справочном центре.