Google

Доброго времени суток!
У меня такая проблема: Роботы google постоянно читают мой сайт, но читают с ошибками.
Именно так, путь к файлу у них такой: директория/имя_файла/адрес сайта.
Вообще-то должно быть наоборот.
Вот я и не понимаю- это глюк гугла, или это что-то у меня на сайте?
Кто нибудь встречался с такой проблемой?
Об данной ошибке я узнал по двум причинам: установил мод лога ошибок и мод статистики сайта, в обоих модулях это всё отображается.
К примеру вот записи из лога ошибок:
Ошибка | Referer | ip | User Agent | Запрос | Ник юзера
404 | Отсутствует | 66.249.72.227 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | /construction/www.rostovdon.net.ru/construction/info.php?act=contact&SESID=ee6b2e52a14e42cb1b93ac523ca17d32/index.php?user=&SESID=ee6b2e52a14e42cb1b93ac523ca17d32 |
Где construction- это мой модуль,(его нету нигде в загрузках, для себя писал), но путь-то какой...
или вот:
|
404 | Отсутствует | 66.249.72.227 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | /servis/jimm/www.rostovdon.net.ru/servis/jimm/help.php?SESID=908a96857cb9e17860b2d5f313af6813/str/statistik.php&SESID=908a96857cb9e17860b2d5f313af6813 |
В данных примерах нету именно так, как я писал, но почти.
Мне не просто найти именно такой пример, потому-как записей лога ошибок 496 страниц... И все подобные.
На гугл писал, задавал такой-же вопрос, но ответа пока не получил, потому решил спросить здесь.

да это ж буржуи у них все как не у нормальных людей а если серьезно, то сайт не причем, т.к у всех джон, скорее всего это так читает сам модуль логов а что бы роботы где не надо не лазили создай файл robots.txt и там укажи закрытые директории:

User-Agent: *
Disallow: /chat/
Disallow: /download/
Disallow: /images/
Disallow: /sm/
Disallow: /str/
а файл в корень

Такой файл есть.
Не помню из примера чего он создан, но вот его содержание:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /images/
Disallow: /includes/
Disallow: /themes/

Попробую сейчас изменить на вышеуказанный пример.
Что будет дальше- сообщу.

Да гугл вообще дурной, у меня тоже любит шариться по таким ссылкам которых уже год нет. Попробуй отключить вообще страницу ошибок, пусть ему выдаётся стандартная, пусть всё переиндексирует и потом включишь. А так х.з. что ещё можно придумать. Я тоже с этой проблемой столкнулся, только у меня почти все боты такой хренью страдали и за день больше 1000 ошибок набивали.

Да уж...
Сам ошибся.
Данный файл у меня был только на денвере...
Сейчас загрузил.
Я и думаю, почему гугл пишет ошибку при поиске данного файла, но был уверен что он там.
Вот так, не создал-бы тему и знать не знал-бы что его на сервере нету.
Ну в любом случае посмотрю результат, дня через два отпишу, (а то может и через день, потому-как этот гугл от меня не вылазиет,думаю уже завтра будет виден результат)

Если что, то извеняюсь, если тему не правильно назвал.
Даже не знаю как её можно было назвать.

Максим (01.08.2009/01:41)
Да гугл вообще дурной, у меня тоже любит шариться по таким ссылкам которых уже год нет. Попробуй отключить вообще страницу ошибок, пусть ему выдаётся стандартная, пусть всё переиндексирует и потом вкл

То что гугл дурнй- это да.
Другие боты у меня не читают так.
Да ещё сколько разновидностей этого гугла, и мобильный и .ru и .com и ещё какие-то и все так тупят.
Да и ищут тоже страницы, которых уже год нету, (я раньше был на phpnuke) так до сих пор ищут его модули, там видно по адресу modules.php? и т.д.
Ну то не так важно, главное как он существующие читает.
Пока не буду отключать страницу ошибок, посмотрю как будет.
Вот хоть пол часа назад загрузил этот robot.txt но уже вижу что они читают нормально, а дальше- время покажет, но буду иметь в виду, если что.

кстати, вот кто то говорил что гуглу теперь пох что за страницы и че за url, а нифига, как я и говорил, гугл больше любит html оказываетсо, я чисто для теста, заюзал мод реврайт, на одном модуле, статистики кстати, и что бы вы думали, стал ценить индексацию сайта, и проиндексировалсо именно тот модуль, расширение было *xhtml и еще юзайте мета теги, вторую страницу тоже гугл скушал, так как я и хотел, т.е все думают что гугл творит что хочит а нет, строго подчиняется файлу роботс, читает те страницы че и хочу, и мета теги кушате, прям как по учебнику сео

А код для мод реврайта на изменение формата страницы можешь дать пожалуйста?