что за Бот?

Гость (0 - 0:02:21)
На Главной
Браузер: Mozilla/5.0 (compatible; MJ12bot/v1.4.3;
http://www.majestic12.co.uk/bot.php?+)
Адрес IP: 46.165.197.141 / 46.165.197.141
Что это??кто скажит

Чей-то бот сайт сканирует

А чей? Можно подобный создать

Да поисковик какой нибудь,а насчет своего создать не знаю!

Majestic-12 логотип Распределенный Поиск Двигателя
Введите домен или адрес URL:
Домой | DSearch | Проекты | Статистика | Скачать | Форум | Блог | О

Majestic-12 : DSearch : MJ12bot

Электронный Адрес для Запросов о СЭП (если вы слишком заняты, чтобы читать остальные страницы) : bot@majestic12.co.uk (мы будем реагировать очень быстро!)

Может быть, вы добрались до этой страницы, нажав на ссылку, оставленную MJ12bot в ваших лог-файлов. Ниже вы можете увидеть некоторые из наиболее Часто задаваемых Вопросов относительно MJ12bot.

Что такое MJ12bot делаете на свой сайт (ы)?

Мы spider Web для того, чтобы построить поиска с быстрое и эффективное загружаемое распределенная поисковому роботу, что позволяет людям с широкополосной связи, чтобы помочь внести, как мы надеемся, станет крупнейший поисковик в мире. Производство полный текст поисковой системы на Majestic-12 в настоящее время находится на стадии исследований, которая частично финансируется коммерциализации результатов исследований в MajesticSEO.com.
То, что происходит с пополз данных?

Пополз данных (в настоящее время только веб-графов связей) добавляется к крупнейшим публичным обратных ссылок поисковой индекс, что мы поддерживаем как специальный инструмент, называемый Site Explorer. Все вебмастера могут получить полный свободный данные об обратных ссылок на подтверждающие право собственности на свое место - узнать о вашей собственной обратные ссылки из огромный обратные ссылки индекс.
Как я могу заблокировать MJ12bot?

MJ12bot придерживается robots.txt стандарт. Если вы хотите, чтобы бот для предотвращения сайта от пополз затем добавить следующий текст к вашему robots.txt:

User-agent: MJ12bot
Disallow: /

Пожалуйста, не тратьте время, пытаясь блокировать бот через IP в htaccess - мы не используйте последовательный блоков IP, так что ваши усилия будут напрасны. Также, пожалуйста, убедитесь, что бот может фактически получить robots.txt сам - если он не может, то он будет считать (это отраслевой практике), что его хорошо возможность сканирования вашего сайта.

Если у вас есть основания полагать, что MJ12bot НЕ слушаешься robots.txt команды, то, пожалуйста, дайте нам знать по электронной почте: bot@majestic12.co.uk. Предоставьте, пожалуйста, ссылку на ваш сайт и журнал записей, показывающие бот пытается загрузить страницы, это было и не нужно.
То, что не-стандартные функции robots.txt MJ12bot поддерживает?

Наши текущие гусеничных поддерживает следующие нестандартные расширения robots.txt:

Crawl-Delay до 20 секунд (более высокие значения будут округлены до предельно наш бот поддерживает)
Переадресация (в пределах одного сайта) при попытке fetch robots.txt
Простое сопоставление в Запретить директив, совместимый с Yahoo подстановки спецификация
Разрешить директивы могут переопределить Запретить, если они являются более конкретными (больше в длину)
Определенные сбои, чтобы взять robots.txt таких, как 403 Forbidden, будет рассматриваться как одеяло Директива disallow

Почему в robots.txt блок не работает на MJ12bot?

Мы заинтересованы в том, чтобы увидеть какие-либо сообщения о потенциальных violitions из robots.txt по MJ12bot.

Существует ряд ложных срабатываний поднял - это может быть полезным контрольный список при настройке веб-сервера:

Off сайт перенаправляет запрос на robots.txt - MJ12Bot образом перенаправления, но только на один домен. Идеальный для robots.txt чтобы быть в наличии "/robots.txt"как указано в стандарте.
Несколько доменов, работающие на том же сервере. Современные веб-серверов, таких как Apache может войти доступ в ряде областей в одном файле - это может вызвать путаницу при попытке посмотреть, что веб-сервер был доступен в чем дело. Вы, возможно, пожелает рассмотреть вопрос о включении информации о домене, чтобы журнал доступа, или расщепление журналов доступа для каждого домена
Robots.txt из синхронизации с разработчиком копирования. У нас были жалобы, что MJ12Bot имеет ослушались robots.txt - только чтобы узнать, что у разработчиков была тестирования против развития-сервера, который не в синхронизации с живой версии

Исторически сложилось так, что был период, когда MJ12Bot User-Agent был поддельный. Плохо боты часто используются поддельные агенты пользователя, которые легко подделать. В обсуждении подделка V1.08 MJ12Bot - архивные здесь. Majestic-12-поэтому интересно услышать о каких-либо отчетов robots.txt нарушение, С тем, чтобы проверить, если MJ12bot-наши или не нужен нам регистрации запросов, показывая, IP-адрес бота, запрос на robots.txt и последующие запросы, вы считаете, являются нарушением.
Как я могу замедлить MJ12bot?

Вы можете легко замедлить обуви, добавляя следующие строки в ваш robots.txt файл:

User-Agent: MJ12bot
Crawl-Delay: 5

Crawl-Delay должен быть целым числом и оно означает количество секунд ожидания между запросами. MJ12bot будет сделать до 20 секунд задержка между запросами на ваш сайт - заметьте, однако, что, хотя вряд ли, это еще возможно, ваш сайт может быть выполз из нескольких MJ12bots в то же время. Оформить высокой Crawl-Delay должно свести к минимуму воздействие на ваш сайт. Это Crawl-Delay параметр также будет активной, если она была использована для * (wildcard).

Если наш бот распознает, что вы использовали Crawl-Delay для любой другой обуви, то она будет автоматически сканировать медленнее, хотя MJ12bot специально не попросили это сделать.
Каковы текущие версии MJ12bot?

Текущие версии MJ12bot:

v1.4.x серии - самая распространенная: v1.4.2 и v1.4.3 (новый с Апреля 2012 года)

Если вы не были удовлетворены информации выше, то не стесняйтесь, обращайтесь к нам: bot@majestic12.co.uk

Ого_О

Ну у меня тоже ходит

Фейсбук хотел сделать пойсковик, равный гуглу..
А вот яша по слухам хотел отказатся о тиц..

majestic12.co.uk/
bot.php?+ ; стоит ли его блокировать? Или от этого быстробегающего бота есть какаето польза?

# Бермудский (09.01.2014 / 12:57)
majestic12.co.uk/
bot.php?+ ; стоит ли его блокировать? Или от этого быстробегающего бота есть какаето польза?

А чем он тебе мешает? Вдруг кто то юзает этот поиск и через него попадет на твои сайт.