О вреде sitemaps.xml и robots.txt

У поисковиков есть еще настройки частоты посещения(времени сканирования,кажется так написал) в их мастер панели,после экспериментов яша к примеру вообще перестал посещать...или придет,сделает пару переходов и свалит. Рекомендую эти настройки вообще не трогать если только нет острой необходимости.
Кстати я тоже давно заметил что чем больше указываешь пауку что делать тем больше он игнорирует сайт...ппц короче

Так же многие советуют в роботс.тхт указывать основной домен,я указал и показатели упали только вниз...
После долгих наблюдений увидел, что у многих крупных сайтов ни чего не указано и прямо так и написано "клей с www.сайт.ру" и при этом показатели не хилые...к чему вообще надо указывать основной домен если сайт всего один?...понимаю были бы зеркала на других доменах тогда еще понятно

zumak (12.04.2011/18:48)
Кстати я тоже давно заметил что чем больше указываешь пауку что делать тем больше он игнорирует сайт...ппц короче

Это как "не говори мне, как мне ехать, и я не скажу, куда тебе идти" )))

Libra (12.04.2011/18:47)
Наверное, соглашусь, как это ни странно ))) Кстати, после указания в роботс.тхт хоста (главного зеркала сайта) тиц обнулилсо, сцуко )))

Писал свой пост не видел что у тя таже беда...значит не только я один с этим столкнулся.
Кстати на счет карты сайта,заметил что поисковик её не очень то и жалует! Особенно если сайт динамический,в частности наш двиг. Напрашивается вопрос,а нужно ли роботу указывать что ему делать???

Еще заметил что при каждом заходе гугл бота он прямо так и чешет по карте, а не по реальным ссылкам сайта,как эт дело понимать?Гг

zumak (12.04.2011/19:00)
Еще заметил что при каждом заходе гугл бота он прямо так и чешет по карте, а не по реальным ссылкам сайта,как эт дело понимать?Гг

Это балшой чорый дыр, каторый зотягиваит бота и нихрина обратно нивыпускаит

Вот и я о том же...если у вас какой нить блог с тремя страницами и обновляете его раз в месяц то тут может и полезна будет карта сайта,а для больших(по числу страниц) динамических сайтов карта только вред,конечно если только её не обновлять каждые три дня...

Libra (12.04.2011/18:47)
Наверное, соглашусь, как это ни странно ))) Кстати, после указания в роботс.тхт хоста (главного зеркала сайта) тиц обнулилсо, сцуко )))

Ага, забыл про это напомнить. Вообще вредгая фигня.

Такой бред пишите

Santass (13.04.2011/19:10)
Такой бред пишите

Проверь на себе потом отпишись. Ок?