Просмотр поста

сeнсор, да, просто распаковать в корень и всё.
Вот пример правильного файла robots.txt где всем ботам и всем поисковикам и воообще любым роботам разрешено ходить по всему сайту без ограничений и особенно обратить внимание на карту сайта.
User-agent: *
Allow: /
Sitemap: http://адрес сайта/sitemap.xml