На сайте живет бот с какого то забугорного сео сайта
http://ahrefs.com .собственно сабж:WTF!?
Пузомеры нулевые, не занимался
Причем, как только создал сайт, так сразу же и появился.
DaRkWe1L, Че то там с поиском ключевых слов судя по тексту на главной.это хорошо но как работать с ним
Тоже в кате этот бот сидит.Так то он вроде безвредный.Пусть сидит.
Он у меня тоже живет. Отслеживает какие то неизвестные параметры. Изменения на сайте, типа что появилось, что изменилось, суть его ослеживать изменения на сайтах конкурентов
Его можно послать дальше гулять
Ahrefs.com - англоязычный веб-сервис для комплексного анализа "любого" сайта с точки зрения поисковой оптимизации. По сравнении с вышеперечисленными экземплярами этот "белый и пушистый", но потенциально нежелательный визитер. Отлично понимает следующую инструкцию в "robots.txt":
user-agent: AhrefsBot
disallow: /