Просмотр поста #7834: robot.txt

pivasyk(04.11.2008/12:52):" мне чтобы нагрузку уменшить, может поможет )) А то яндекс меня хорошо что то индексирует, раньше вообще не хоте "

Про кодировку точно сказать не могу. У меня лично утф-8. Кстати ты можешь в файле robots.txt доступ не только к папкам,но и к файлам конкретно. Дело в том,что меня боты в свое время бомбили хорошо. Особенно гугл и яндекс. Потом подключился рамблек и ещё какие то. Хостер меня конечно же не блокировал а нагрузка большая была. Я на хорошем хосте сижу. Ну я решил узнать какие скрипты создают большую нагрузку и спросил в поддержке. Они дали мне логи,после чего данные скрипты были оптимизированы и к ненужным файлам и папкам был закрыт доступ боту. А что бы не пугать пауков я просто выключил на минуту сайт. Нагрузка упала и боты перестали ходить где попало. Это мой опыт,возможно кому либо поможет.