Просмотр поста

ГАРЫНЫЧ (20.02.2009/10:50)
у меня и без robots.txt прекрассно индексируется.и в поисковике отоброжается все корректно, только мой текст то что я писал в описании сайта. больше постороннего ничего нет.

robots.txt можно применять, можно не применять. В принципе пауки его любит, и с ним удобно. Можно запретить индексировать определенные файлы, файлы по типу, картинки или директории... Иногда индексацию новых директорий или файлов приходиться ждать долго, это можно решить - включить их в файл robots.txt и в панели инструментов поисковиков дать указание к сканированию robots.txt. Это удобно для тех, кто часто обновляет свой контент.