Просмотр поста

А еще забыли китайские Soso и Baidu
---
Вообще, боты поисковиков иногда нехило загружают сервер, если хостинг маломощный, а форум и (или) библиотека большие, то нагрузка от ботов может быть весьма заметной.

Если сервак мощный - то пущай сканируют.
Если маломощный - юзайте robots.txt на нормальные поисковики должен влиять.
Ну а чересчур наглые боты (те, что не слушаются robots.txt) надо банить в .htaccess