Что за бот??

1.09K
.
Flash (07.03.2013 / 11:03)
Он у него продукты с холодильника ворует.
хоть бы кто по теме сказал
.
Клоун с Газика
espo, по теме уже сказали. Что это за бот и как его отгородить.
.
Flash (07.03.2013 / 11:08)
espo, по теме уже сказали. Что это за бот и как его отгородить.
Я задал вопрос и ни кто не ответил:

User-agent: AhrefsBot
Disallow: /

вписал, но он всё равно шуршит...
у меня стандартный робот.тхт от джона

User-agent: *
Disallow: /panel/
Disallow: /download/arctemp/
Disallow: /files/forum/attach/
Allow: /

куда воткнуть выше указанную хрень, чтобы забанить этого бота?
.
espo, /7puMepHo TaK
.
Enter нажат, к чему теперь рыданья…
espo (07.03.2013 / 12:01)
Я задал вопрос и ни кто не ответил:

User-agent: AhrefsBot
Disallow: /

вписал, но он всё равно шуршит...
у меня стандартный робот.тхт от джона

User-agent: *
Disallow: /panel/
Disallow: /do
В файле robots.txt ты указываешь что робот не должен выдавать отсканированную информацию в поиск, т.е. в паблик. Но этим файлом ты не можешь запретить роботу сканировать сайт. Это делается через .htaccess или через движок. Забань его по ip.
.
Enter нажат, к чему теперь рыданья…
Lestat, ну автору наверное глаза мозолит
.
if (preg_match('/ahrefs/i', core::$user_agent)) {
   die('Access closed');
}

как то так
Всего: 17