genauk (07.01.2012/12:23)Зачем столько записей??? User-agent:* вполне хватит. Только нафига в нем запрещать сначала кучу папок, а в конце и весь сайт?
Народ есть какий нибудь сервис для проверки правильности robots.txt на сайте.
Crawl-delay зачем такой долгий? 10 вполне норм гг
User-agent: Yandex - вообще нет ни запрета, ни разрешения индексации, один только хост.
Сервис для проверки правильности должен быть в голове, а копипастить мы все можем, и иногда не задумываемся над тем, что копипастим.