Просмотр поста

Plut (20.02.2009/11:40)
Agent, можно не запрещать совсем, а задать временной интервал закачки страниц роботом Яндекса... Вот как раз про это, где то на середине страеицы смотри инфу - http://master-site.net/stat/rob.php

Тут проблема в том,что скорее всего данный интервал понимают не все поисковые системы. Я ставил скрипт запрещающий вызов страниц,так он перебанил все поисковики. Самый эффективный способ оказался просто запретить им бегать по отделенным файлам