Fublin (21.10.2012 / 18:26)Гогль тоже индексирует все. Но страницы запрещенные к индексации отображаются как "Описание веб-страницы недоступно из-за ограничений в файле robots.txt"
ща у Яшу, какието новые методы к этому вопросу, там так запутанно все написанно у них..
но точно знаю, что если кто хочет скрыть от индексации порно, ещё что то - то это бесполезно
Вот такие пироги)))
P.S. А вообще запрещать в роботс надо те страницы которые дублируют основной контент. Остальное уже на усмотрение оптимизатора.