Просмотр поста

espo (07.03.2013 / 12:01)
Я задал вопрос и ни кто не ответил:

User-agent: AhrefsBot
Disallow: /

вписал, но он всё равно шуршит...
у меня стандартный робот.тхт от джона

User-agent: *
Disallow: /panel/
Disallow: /do

В файле robots.txt ты указываешь что робот не должен выдавать отсканированную информацию в поиск, т.е. в паблик. Но этим файлом ты не можешь запретить роботу сканировать сайт. Это делается через .htaccess или через движок. Забань его по ip.