Избавляемся от ботов на сайте и настраиваем robots.txt

Наверное многие сталкивались с постоянно сидящими ботами на своем сайте. Если у вас собственный сервер или хостинг с несильно ограниченными ресурсами, то кроме большого онлайна вам вероятнее всего это ничего не даст и вы может даже не будете обращать внимания на них.
Если же у вас хостинг с ограниченными ресурсами и боты доставляют вам проблемы ну или вам просто не нравится огромное количество ботов в онлайне, то можно решить эту проблему достаточно просто.

Разделим ботов на хороших и плохих.
Под хорошими будем понимать ботов поисковых систем. Эти боты полезны. Они индексируют ваш сайт и приводят вам посетителей.
Под плохими будем понимать всяких маркетинговых ботов. Они никого вам не приводят, но создают нагрузку.

Вы можете заблокировать плохих ботов на уровне сервера, но можно сделать проще. Эти боты читают настройки в файле robots.txt и если в нем запретить им доступ, то они все таки слушаются.
Собрал тут конфиг для самых активных ботов:

User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: dotbot
Disallow: /

Этот конфиг можно дополнить другими ботами, которых вы возможно встретите на своем сайте.
От самых активных плохих ботов избавились, но полезные боты часто тоже доставляют неудобства.
Давайте немного ограничим им области индексации, чтобы они не индексировали то, что не несет никакой пользы и в индекс все равно не попадет.

User-agent: *
Disallow: /index.php/
Disallow: /redirect/*
Disallow: /mail/*
Disallow: /profile/*
Disallow: /registration/*
Disallow: /album/*
Disallow: /community/users/*
Disallow: /forum/*act=new
Disallow: /forum/*act=files
Disallow: /forum/*act=show_post
Disallow: /forum/*act=tema
Disallow: /forum/*act=filter
Disallow: /forum/*act=editpost
Disallow: /go.php*
Disallow: /forum/search.php*

И так в примере выше мы убрали некоторые закрытые разделы, ссылки на которые могут встречаться, но бот будет видеть только страницу с информацией о том, что доступ закрыт.
Так же в примере заблокированы некоторые страницы на которых контент по сути дублирует то, что есть на других страницах.
По этому примеру вы можете доработать конфиг для вашего сайта учитывая его структуру.

Что это даст?
Все это позволит снизить количество бесполезных страниц в индексе поисковиков, полезные страницы будут обходиться роботами быстрее, бесполезные страницы обходить не нужно и боты будут меньше сидеть на вашем сайте и нагрузка на сервер будет снижена.

Вы можете заблокировать плохих ботов на уровне сервера, но можно сделать проще. Эти боты читают настройки в файле robots.txt и если в нем
запретить им доступ, то они все таки слушаются.

плохие как раз то не слушаются

Да вчера долго больше 150 кого то было тут

Надо быть ну оооочень наивным что бы до сих пор верить что ботам не насрать на роботс.тхт.
В деда мороза верить и то рациональнее.

Ну можно быть наивным и видеть результат) от ботов, которые описаны помогло)

Не, ну когда процент банов возрасет можно изменить название боту ай пи чо там еще..
Тут надо по другому мне кажется немного..банить всех кто заходит три раза за 15 минут  так надежнее. С другой стороны можно сделать кучи внутренних страниц не видных пользователю и уже по ним вычислять ботов.. 
Раньше, было всего несколько ботов, сейчас у каждого бот что то делает, видел даже пишут ресурсы по стыриванию сайтов..Вообще обнаглели люди кругом. Фаервол надо огненый 

Спасибо! ?

Simba, лет 10 назад заморачивался. Это фикция, ботам плевать на этот файл (скандал со сливом в индекс яндекса смсок с сайта мегафона яркий тому пример).
Проще и надежнее через тот же хтаччес по UA их блочить.

ramzes, я на этом сайте настроил и боты, которым запрещено не висят теперь на сайте. Можно сколько угодно говорить что это фикция, но сути это не меняет )

Если бы спросили меня !.. Я бы сказал что ботов можно использовать как трафик для продажи начинающим инфоцыганам