robot.txt

Народ тема но что то не могу найти, так что создаю новую. Кто подскажет как всем поисковым роботам запретить доступ к сайту. ЧТо нужно прописывать

ну для начала он должен называтся не robot.txt
а robots.txt

User-agent: *
Disallow: /
это запретить всем

User-Agent: *
Disallow: /chat/
Disallow: /download/
Disallow: /images/
Disallow: /incfiles/
Disallow: /library/
Disallow: /panel/
Disallow: /pratt/
Disallow: /sm/
Disallow: /str/

Зачем роботу запрещать вход на сайт?

nVirus(03.11.2008/15:46):" Зачем роботу запрещать вход на сайт? "

Какая интересна занть от них нагрузка....

Такая же как и от обычных пользователей, по сайту-то шарятся. Только гораздо быстрей.

От этих ботов пользы ноль, особенно когда одновременно индексирует несколько ботов, сайт висит на vdscenter. Googlebot каждый день в логах можете увидить.

Ну меня и так они без остановки штудируют, и всё нормальна )) На счёт быстраты не уверен, по скольку еси бы они слишкам часто бегали попадали бы в баню автоматом...