# Koenig (22.08.2016 / 20:31)
ramzes, но они с радостью добавляют в очередь ссылки, сам добавлял около 200к ссылок и следил за процессом
я тоже следил. у меня 260+к ссылок было, и скорость обнаружения не превышала 2х часов, я противник сайтмап (у меня его нет на сайте соответственно)
как же гугл находил?
все просто.
2 рсс файла, на 2 отдельных источника информации (ну файлы и книги, не суть)
в каждом по 100 наименований, естественно последних.
бот просто забирал свежак, а старье на которое в рсс не было линков и так у него в базе с прошлых захватов
(рсс приравнен ботами к сайтмап, если что)
любой валидный хмл с линками внутри сайта расценивается как сайтмап если нет обратных указаний
ramzes, тут дело даже не в обновлении, обновить ссылки можно по разному (хоть руками в панели вбивай), ты запилил сайт на локале, сформировал базу, наполнил контентом, запилил все на хост, регнул новый домен и хостинг, мыло новое, на мыло все регнул и панели, (или два мыла, гугл и яндекс), и прям в панельках запилил им ссыоку на карту, ждем месяц и сайт попер) . профит
я помню как ты мне лог 404 сгенерил на 20к строк запустив на моем сайте нечто подобное))
ramzes, ну это были тесты, краулер, который мой проц вешал и жрал всю оперу Гг , ты потом меня забанил по ип
http://johncms.com/users/album ... &view
и это ты не прошел даже 20% тогда, кстати и сервак напряг тоже, начал долбится в скачивание файлов некоторых
////
проще составить несколько правил и выгрести данные из нужных таблиц чем гонять по страницам по 20 раз в секунду дергая всю систему
ramzes, когда структура извесна, например ты на своем сайте делаешь генератор, знаешь сколько у тебя выводится элементов на страницу. ты делаешь запрос на тему форума, считаешь сколько страниц, добавляешь ссылки на следующие страницы, на посты, на прочие ссылки и тд и тп, и например имеешь в своем краулере метод getForumLinks , или addForumLinks, а делее уже генерится файл, и включеные модули
function agregate($table, $field_name = 'title', $key, $limit, $link_stamp = '<a href="/abc{$id}/">', $where = null){..};
ну можно и для неизвестной структуры сделать, потребует минимальные знания
