естественно увеличиваются. бот же не за пол-часа все страницы проверяет. вот он их проверяет - их нет, кол-во увеличивается. логично
естественно увеличиваются. бот же не за пол-часа все страницы проверяет. вот он их проверяет - их нет, кол-во увеличивается. логично
Эти страницы у тебя ещё год будут висеть пока статус 410 не начнёшь отдавать.
# Beibarys (27.01.2017 / 16:29)У тебя же поиск музыки был в какой-то папке? Пропиши в robots.txt запрет на индексацию этой папки и забудь.
все страницы упадет?
просто у меня индексация идет 1-3 дня, в начале страницы гугла появится через неделю
В чем может быть проблема?
И еще эти не найденные страницы с каждым днем увеличиваются :н
# Simba (27.01.2017 / 16:38)да и пофиг на них, гугл ни как не пессимизирует за большое кол-во 404.
Эти страницы у тебя ещё год будут висеть пока статус 410 не начнёшь отдавать.
# ramzes (27.01.2017 / 16:41)что добавить в роботс?
да и пофиг на них, гугл ни как не пессимизирует за большое кол-во 404.
можно в роботс добавить правило, он их из ненайдено в заблокированно переведет и перестанет перепроверять (по идее)
# ramzes (27.01.2017 / 16:41)Самый правильный и простой способ быстро удалить страницы - это выдавать 410 статус. На 404 он ещё долго заглядывает и перепроверяет страницы, если их дофига, то это может повлиять на скорость обхода нормальных страниц.
да и пофиг на них, гугл ни как не пессимизирует за большое кол-во 404.
можно в роботс добавить правило, он их из ненайдено в заблокированно переведет и перестанет перепроверять (по идее)
Код состояния http-сервера 404 (Not Found) означает, что запрошенный URL не соответствует ни одной интернет-странице, нет такого адреса в Интернет. Но код 404 не объясняет, существует «дом», или еще не построили, или уже снесли. Ошибку 404 Гуглбот понимает так: либо адрес существует, но ссылка неверная, либо ссылка верная, но страница удалена. В случае с кодом 404 Гуглбот надеется, что в будущем такая ссылка окажется рабочей и спустя время он снова к ней обращается.
Код 410 (Gone) означает, что запрашиваемый URL был, жил, работал, умер, его удалили с http-сервера, удалили навсегда.
# Simba (27.01.2017 / 17:08)как выдавать 410 статус?
Самый правильный и простой способ быстро удалить страницы - это выдавать 410 статус. На 404 он ещё долго заглядывает и перепроверяет страницы, если их дофига, то это может повлиять на скорость обхода
if(preg_match('|^\/music\/search|i', $_SERVER['REQUEST_URI'])){
header("Location: /", true, 410);
exit;
} Поднимаю тему
Как поставить 410 статус на ссылки?
скрин
site/search/audio/*
site/search/results/*