Нашествие гугл ботов на сайте

Добрый день.

Хотел бы завести тему о гугл ботах.

У меня на сайте порой прям таки нашествие гугл ботов доходит до 100 ботов в онлайне в виде гостей.

Это создает нагрузку на сервер и сайт немного подвисает.

Как уменьшить количество гугл ботов, но и не блокировать полностью?

К примеру чтобы было до 5 ботов на сайте. А то 50-100 ботов это уже перебор.

Что же у тебя за сервер если 100 человек не держит...

Homelion, Я сейчас не об этом.

Просто мне не нужны эти боты в таком количестве.

Просто мне важен реальный показатель посетителей. А не там где 50% - боты.

http://ru.wikipedia.org/wiki/% ... D0%B2

Может автора кто нибудь школодудосит с юзерагентов гуглбота. IP у них какие?

В свой robots

добавил

Crawl-delay: 10
Request-rate: 1/5
Visit-time: 0400-0800

Думаю поможет чем-то. Хотя лимита нету на ботов.

Вот их IP

66.249.78.79
66.249.78.67
66.249.66.76
66.249.78.65

И тд.

elkol, В гугле есть алгоритм вычисления валидности IP. Тоесть действительно ли IP-от гугл бота.

Но я особо не понял алгоритма обратных запросов.

У меня они подписаны как

Браузер: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)