robot.txt

nVirus(03.11.2008/15:54):" Какая интересна занть от них нагрузка.... "

нагрузка афигетельная !!!!
у меня три паука сразу сидело гугл яндекс и раблер
нагрузка была 1040% от нормы, ну тогда небыло ни кеша почти нигде...

nVirus(03.11.2008/15:54):" Какая интересна занть от них нагрузка.... "

Ну примерно два бота можно смело приравнять к штукам 100 Онлайн пользователей. То есть на обычном тарифе это нагрузка при нормальном коде скрипта в 20 -30 процентов от общей нагрузки сервера при предельно допустимой для тебя 5 процентов. Грубо говоря,Хостер тебя шлепнет сразу а апач закроет доступ.

мне чтобы нагрузку уменшить, может поможет )) А то яндекс меня хорошо что то индексирует, раньше вообще не хотел.
И еще вопрос кодировка файла роботс.тхт неважна?

pivasyk(04.11.2008/12:52):" мне чтобы нагрузку уменшить, может поможет )) А то яндекс меня хорошо что то индексирует, раньше вообще не хоте "

Про кодировку точно сказать не могу. У меня лично утф-8. Кстати ты можешь в файле robots.txt доступ не только к папкам,но и к файлам конкретно. Дело в том,что меня боты в свое время бомбили хорошо. Особенно гугл и яндекс. Потом подключился рамблек и ещё какие то. Хостер меня конечно же не блокировал а нагрузка большая была. Я на хорошем хосте сижу. Ну я решил узнать какие скрипты создают большую нагрузку и спросил в поддержке. Они дали мне логи,после чего данные скрипты были оптимизированы и к ненужным файлам и папкам был закрыт доступ боту. А что бы не пугать пауков я просто выключил на минуту сайт. Нагрузка упала и боты перестали ходить где попало. Это мой опыт,возможно кому либо поможет.

Спасибо. Ща подожду новую версию, включу снова доступ роботам, и там уже буду смотреть что и где грузит )

pivasyk(04.11.2008/12:52):" мне чтобы нагрузку уменшить, может поможет )) А то яндекс меня хорошо что то индексирует, раньше вообще не хоте "

Поисковики распознают почти все виды кодировок. Небоись прочитают...

парни, выложите пожалуйста роботс запрещающий индексацию поисковиками, срочно надо готовый файл. я с тела

wapskill (12.12.2009/12:09)
парни, выложите пожалуйста роботс запрещающий индексацию поисковиками, срочно надо готовый файл. я с тела

просто поставь регу на сайт и все!поисковики сами не могут региться!либо сделай чтоб еси чел с компа то его кидало сразу на регу!а еси с тела то пусть лазиет!дело в том что у поисковиков идет веб траф а не вап так что сам теперь думай!от закрытия сайта больше пользы!так как чел регистрируется и есть гарантия что он еще вернется!

А что делают эти строки? http://seclub.org/robots.txt

Mobula, Гон полнейший! Шоб вдсцентр вис от роботов!бред просто!Хотя...может там зависит о пакета хоста..!?не знаю.У меня все не ограниченное например,и на вдс грех жаловатся!