Просмотр поста

Гусеничный Web представляет собой
компьютерную программу, которая
просматривает World Wide Web в
методической, автоматическом
режиме или в порядке. Другие
условия для веб-сканеры муравьев,
автоматический индексаторы, боты,
или веб-пауков, веб-роботов, или,
особенно в FOAF-сообщество веб-
scutters. Этот процесс называется веб-
сканирование или пауков. Гусеничный
Web является одним из видов бота,
или программного агента. В общем,
начинается со списком URL, чтобы
посетить, называют семенами. Как
гусеничных посещает эти URL-адреса,
она определяет все гиперссылки на
странице и добавляет их в список
адресов для посещения, называемый
обхода границы. URL, от границы
рекурсивно посетил в соответствии с
набором политик. User-Agent:
AhrefsBot запретить :/ Как отключить
его? Быстрый способ предотвратить
AhrefsBot посещения вашего сайта,
чтобы поставить эти две строки в
файл / файл robots.txt на сервере:
Читайте о robots.txt
p.s. Googl transleted