Нагрузка на MySQL ( Бот Гугла возможно ?)

Последняя активность
Файлы топика
713
.
Libra
12 апр 2011 г., 15:31
Sensus veris
Slalex77 (11.04.2011/23:50)
Подскажите я правильно прикрутил поисковые боты ?
Лучше прописать для каждого бота отдельно.
User-Agent: Yandex
Disallow: /panel/
Disallow: и т.д.
Crawl-delay: 20

User-Agent: Mail.Ru
Disallow: /panel/
Disallow: и т.д.
Crawl-delay: 20

и так далее
.
Slalex77
13 апр 2011 г., 5:27
Мы сделали добавления в rss темы форума,а у нас на форуме до 1000 постов в сутки,может это rss собрала всех ботов инета и они из за этого нам жить не дают?
Всего: 32
© 2024, JohnCMS