robots.txt по моему уже не актуален.Так как можно просто отключить индексы(index off) в не желаемой для просмотра директории.Или поставить под пасс. Я не знаю правильно ли это,т.к.увлекаюсь всем этим,совсем не давно,и данную инфу извлек из своей цпанели вчера вечером.
И вот мой вопрос!Почему Кибер аналитик не может проанализировать мой сайт??Говно сайты и те сканирует!а мой не хотит :-( и не только мой,я вводил и johncms.com ответ тот же;Ошибка открытия документа.Кто знает че за Х?черкните строчку.
TAYSON, Жесть. Зачем ставить пароли, включать регистрацию и всячески извращаться над сайтом, если проще написать инструкции в роботс.тхт :-)
TAYSON, Что за кибер аналитик?
DrugsFan, Не сочтите ж за рекламу!ссылка по теме!
http://www.cys.ru Анализ качества сайта.
DrugsFan, с удовольствием тебе отвечу, Ты бы внимательней изучил назначение и функции файла robots.txt Инструкций этого файла,придерживаются только порядочные роботы,а если робот в этом случае будет использоватся как инструмент для взлома сайта,то ему мягко говоря напукать на твой роботс.тхт.
TAYSON (16.12.2009/14:52)
DrugsFan, с удовольствием тебе отвечу, Ты бы внимательней изучил назначение и функции файла robots.txt Инструкций этого файла,придерживаются только порядочные роботы,а если робот в этом случае будет
Бред. Что теперь, сайт под замок ставить? Тема о настройке файла роботс.тхт ^_^
DrugsFan, Папку в админку на пример под пасс поставить!а на те которые роботам не желательны,вкл. Index.off и делов то!на кой х сайт закрывать?
А че ошибку открытия документа выдает? Че никто не знает?хай мне простительно,я в этом как говорють в народе "глечык",тоесмь начинающий.А спецы че молчуть?не знають шо ли?!