Flash (07.03.2013 / 11:03)хоть бы кто по теме сказал
Он у него продукты с холодильника ворует.
Flash (07.03.2013 / 11:03)хоть бы кто по теме сказал
Он у него продукты с холодильника ворует.
espo, по теме уже сказали. Что это за бот и как его отгородить.
Flash (07.03.2013 / 11:08)Я задал вопрос и ни кто не ответил:
espo, по теме уже сказали. Что это за бот и как его отгородить.
espo, /7puMepHo TaK
espo (07.03.2013 / 12:01)В файле robots.txt ты указываешь что робот не должен выдавать отсканированную информацию в поиск, т.е. в паблик. Но этим файлом ты не можешь запретить роботу сканировать сайт. Это делается через .htaccess или через движок. Забань его по ip.
Я задал вопрос и ни кто не ответил:
User-agent: AhrefsBot
Disallow: /
вписал, но он всё равно шуршит...
у меня стандартный робот.тхт от джона
User-agent: *
Disallow: /panel/
Disallow: /do
Lestat, ну автору наверное глаза мозолит ![]()
if (preg_match('/ahrefs/i', core::$user_agent)) {
die('Access closed');
}