Используете ли Вы robots.txt в своих проектах?

Последняя активность

Файлы топика

Да, грамотно заполненный (19)

36%

Да, содержит не только директи (9)

17%

Да, но пустой (3)

Нет, мне он не нужен (16)

30%

А что это такое? (6)

11%

Всего голосов: 53

347

Piks

25 окт 2009 г., 15:29

Вот такой вот опрос. Можете похвастаться своими robots.txt в данной теме, а если отвечаете пунктом «Да, содержит не только директивы для роботов, но и кое-что ещё», то сделать Вы это просто обязаны!

Piks

25 окт 2009 г., 15:33

Чёрт, плохо, что максимальная длина ответа 50 символов, вопрос не до конца помещается. Второй вариант ответа имеет вид «Да, содержит не только директивы для роботов, но и кое-что ещё»

Smart[AX]

25 окт 2009 г., 15:38

Нет, мне он не нужен

Максим

25 окт 2009 г., 15:53

В стельку трезвый

Просто стоит с закрытым доступом к некоторым папкам которые раньше были, но теперь не нужны. А так на сайте сменную рекламу в <noindex> пихаю.

ПеревозЧЕГ

25 окт 2009 г., 16:00

Лопух Паутинистый

на одном сайте был, закрывал доступ в загрузки, на текущем нет.

DeSTrucTioN

25 окт 2009 г., 16:03

This Planet... Bleeds To The DarkSide!

Вообще пользуюсь, Т.к. есть пара файлов/папок, которые роботы видеть не должны

Только вот грамотно настроить не могу его. Может (если уж тема об этом файле) - кто-нибудь может выложить пример заполнения файла и какие возможные функции можно сделать в нем?

Piks

25 окт 2009 г., 16:04

Сам использую на всех своих проектах, и не важно что от глаз поисковых систем скрывать порой нечего, просто это один из обязательных пунктов моего списка перед запуском сайта.