Нужна помощь в одном очень деликатном вопросе
вобщем я решил сделать для своего сайта файл robots.txt и столкнулся с такой проблемой,не получается правильно написать параметр
Host:. У меня домен третьего уровня Nexx.org.ru . Я пробовал и так писать Host: nexx.org.ru и вот так Host: www.nexx.org.ru и во всех случаях анализатор яндекса выдает мне ошибку,якобы некорректно заполнен этот параметр... Подскажите что мне делать?как дальше жить с такой проблемой?
заранее благодарю
вот файл
robots.txt.
Спасибо,я разобрался.сам ошибку допустил... написал Host: www.nexx.org ru
точку забыл поставить
не внимательный с похмелья
а вообще что еще посоветуете туда добавить? или все нужное уже есть?
Пустой файл оставь и всё.
Серьезно? просто я на яндексе столько всего прочитал на эту тему аж голова кругом...
Объясните чайнеку, а зачем сопстна этот файл?
Arhange[L] (31.08.2010/09:34)
много лишнего ты понаделал. имхо
Ну умные умы пишут что типа если скрыть все ненужные папки через Disallow то индексация пройдет гораздо быстрее
AvToGeN (31.08.2010/09:46)
Объясните чайнеку, а зачем сопстна этот файл?
Этот файл нужен для поисковых роботов
Disallow: /panel/
Disallow: /cgi-bin/
Disallow: /theme/
Disallow: /incfiles/
Disallow: /cache/
Disallow: /files/
Disallow: /pratt/
Disallow: /images/
Мне кажется из этого ничего не нужно в роботсе. Добавить можно registration.php