Flash (07.03.2013 / 11:08)Я задал вопрос и ни кто не ответил:
espo, по теме уже сказали. Что это за бот и как его отгородить.
User-agent: AhrefsBot
Disallow: /
вписал, но он всё равно шуршит...
у меня стандартный робот.тхт от джона
User-agent: *
Disallow: /panel/
Disallow: /download/arctemp/
Disallow: /files/forum/attach/
Allow: /
куда воткнуть выше указанную хрень, чтобы забанить этого бота?