robots.txt каким должен быть?

A * означает все боты?

Я предложил самый простой вариант

Krite (21.10.2012 / 16:46)
Ты не прав.
Allow: / - разрешает индексировать все
Так что все, что написано в Disallow будит проиндексировано

ну я один раз читал, значения не помню...а вот советы довать ето моё..

ща у Яшу, какието новые методы к этому вопросу, там так запутанно все написанно у них..
но точно знаю, что если кто хочет скрыть от индексации порно, ещё что то - то это бесполезно

Fublin (21.10.2012 / 18:26)
ща у Яшу, какието новые методы к этому вопросу, там так запутанно все написанно у них..
но точно знаю, что если кто хочет скрыть от индексации порно, ещё что то - то это бесполезно

Гогль тоже индексирует все. Но страницы запрещенные к индексации отображаются как "Описание веб-страницы недоступно из-за ограничений в файле robots.txt"
Вот такие пироги)))
P.S. А вообще запрещать в роботс надо те страницы которые дублируют основной контент. Остальное уже на усмотрение оптимизатора.