Wall-E (14.04.2011/18:31)
я свой новый сайт на джоне нигде месяц не светил - гуголь все равно его через неделю нашел, вопрос: как это могло случиться?
Легко и просто.
Введи свой сайт в поисковике и увидишь,что регистраторы доменных имен ведут учет зарегистрированных доменнов,и боты сидят там,вот там они и находят твой сайт.
дайте правильный robots.txt
Вариант! =
пишим в гостевых, с заведома битой ссылкой на сайт, идем в веб мастер , в поиске. И отслеживаем, наиболее активные заходы, выбераим лутчшие для сайта. И даем нужные ссылки. Суть : что в веб мастере тогоже гугла, видим заходы на ошибки! Сайта. И те сайты что бот любит больше посещать.
Lestat, канай отсюда редиска! Маргалы выкалю, рога поотшибаю! Упрощаю для кодеров.
При отправке в гостевых и т.д (типа в вел в яндекс гостевые сайта вап мастер) и мля приход от ссылок изночально битых ,ну типа
http://johncms.com/forum/index ... tart=
Покажит в веб мастере поисковиков., заход роботов, с тех сайтов и которые боты любят, И ваш сайт не будет в жопе. Но вы повтарив, по самым релевантым запросам, а просче от куда бот прет к вам часче. Идете и ставите рекламу на реальныи сайт. Эфект бот теражирует свою ошибку в 2ойне и главное вы нашли , истиных донаров сайта. Как их любил бот. Мля вопрос задайте, а ругать я и сам умею.
У него одназначно прямая связь с космосом
Причём безлимитка
Народ есть какий нибудь сервис для проверки правильности robots.txt на сайте.
genauk (07.01.2012/12:23)
Народ есть какий нибудь сервис для проверки правильности robots.txt на сайте.
Зачем столько записей??? User-agent:* вполне хватит. Только нафига в нем запрещать сначала кучу папок, а в конце и весь сайт?
Crawl-delay зачем такой долгий? 10 вполне норм гг
User-agent: Yandex - вообще нет ни запрета, ни разрешения индексации, один только хост.
Сервис для проверки правильности должен быть в голове, а копипастить мы все можем, и иногда не задумываемся над тем, что копипастим.
