robot.txt
527
pivasyk
3 ноя 2008 г., 2:56
Народ тема но что то не могу найти, так что создаю новую. Кто подскажет как всем поисковым роботам запретить доступ к сайту. ЧТо нужно прописывать
DreamKiller
3 ноя 2008 г., 17:31
ну для начала он должен называтся не robot.txt
а robots.txt
а robots.txt
DreamKiller
3 ноя 2008 г., 17:32
User-agent: *
Disallow: /
это запретить всем
Disallow: /
это запретить всем
Mobula
3 ноя 2008 г., 17:34
User-Agent: *
Disallow: /chat/
Disallow: /download/
Disallow: /images/
Disallow: /incfiles/
Disallow: /library/
Disallow: /panel/
Disallow: /pratt/
Disallow: /sm/
Disallow: /str/
Disallow: /chat/
Disallow: /download/
Disallow: /images/
Disallow: /incfiles/
Disallow: /library/
Disallow: /panel/
Disallow: /pratt/
Disallow: /sm/
Disallow: /str/
nVirus
3 ноя 2008 г., 17:46
Зачем роботу запрещать вход на сайт?
Zick
3 ноя 2008 г., 17:52
nVirus(03.11.2008/15:46):" Зачем роботу запрещать вход на сайт? "Ну в данном случае, наверно, что бы нагрузку не создавали
.gif)
А вообще можно временно закрыть сайт, что бы не попасть в черные списки поисковиков (если сайт пустой), а когда наполнишь и доделаешь, можно открыть, пользы будет гораздо больше.
nVirus
3 ноя 2008 г., 17:54
Какая интересна занть от них нагрузка....
Zick
3 ноя 2008 г., 17:56
Такая же как и от обычных пользователей, по сайту-то шарятся. Только гораздо быстрей.
Mobula
3 ноя 2008 г., 17:58
От этих ботов пользы ноль, особенно когда одновременно индексирует несколько ботов, сайт висит на vdscenter. Googlebot каждый день в логах можете увидить.
nVirus
3 ноя 2008 г., 18:02
Ну меня и так они без остановки штудируют, и всё нормальна )) На счёт быстраты не уверен, по скольку еси бы они слишкам часто бегали попадали бы в баню автоматом...
)) На счёт быстраты не уверен, по скольку еси бы они слишкам часто бегали попадали бы в баню автоматом... Всего: 33
© 2024, JohnCMS