Вот такой вот опрос. Можете похвастаться своими robots.txt в данной теме, а если отвечаете пунктом «Да, содержит не только директивы для роботов, но и кое-что ещё», то сделать Вы это просто обязаны! ![]()
Вот такой вот опрос. Можете похвастаться своими robots.txt в данной теме, а если отвечаете пунктом «Да, содержит не только директивы для роботов, но и кое-что ещё», то сделать Вы это просто обязаны! ![]()
Чёрт, плохо, что максимальная длина ответа 50 символов, вопрос не до конца помещается. Второй вариант ответа имеет вид «Да, содержит не только директивы для роботов, но и кое-что ещё»
Нет, мне он не нужен
Просто стоит с закрытым доступом к некоторым папкам которые раньше были, но теперь не нужны. А так на сайте сменную рекламу в <noindex> пихаю.
на одном сайте был, закрывал доступ в загрузки, на текущем нет.
Вообще пользуюсь, Т.к. есть пара файлов/папок, которые роботы видеть не должны
Только вот грамотно настроить не могу его. Может (если уж тема об этом файле) - кто-нибудь может выложить пример заполнения файла и какие возможные функции можно сделать в нем?
Сам использую на всех своих проектах, и не важно что от глаз поисковых систем скрывать порой нечего, просто это один из обязательных пунктов моего списка перед запуском сайта.
Пикс,а все пункты описать слабо?
DeSTrucTioN, вот статейка http://wapmastera.ru/library/i ... d=490
Николай, Пункты моего чек-листа перед запуском сайта? Без проблем, жди в ближайшее время статью в моем блоге.