Нужно ли закрывать граб от ботов?

Последняя активность
Файлы топика
298
.
Falcao
18 апр 2011 г., 15:54
Рыбалка на мамонтов
User-agent: *
Disallow: /panel/
Disallow: /папка с грабом/
Allow: /
.
askar69
18 апр 2011 г., 16:25
Falcao, от спасибо
.
Янулов
18 апр 2011 г., 16:43
Да, желательно закрыть. Тем более если страницы кэшируются, получится по тысячи файлов.
.
Santass
19 апр 2011 г., 1:29
Максим (18.04.2011/12:10)
Лучше закрыть. Этим ты избежишь проблем с хостером по поводу нагрузки и страниц левых не будет в поисковиках.
Они индексируются, но под выдачу не попадают всё равно потому что есть оригиналы.
З.Ы. Б
Что за бред опять пишите? Под выдачу попадают у меня стоял грабб музыки пару песен весели у меня в яше на 5м и 8 месте правда не долго, два аппа прожили
.
megavolt
19 апр 2011 г., 14:43
Santass, Если твой сайт качественней чем сайт который ты грабишь, то страницы граба твоего могут попасть дажа на первую строчку!
Но как правило такго почти нет чтоб сайт который грабят был не качественный.
.
G-ART
19 апр 2011 г., 15:18
megavolt, не качественей, а индексируется лудше и боты с него не вылазиют,если индексируется быстрее короче
.
Santass
22 апр 2011 г., 13:24
megavolt (19.04.2011/11:43)
Santass, Если твой сайт качественней чем сайт который ты грабишь, то страницы граба твоего могут попасть дажа на первую строчку!
Но как правило такго почти нет чтоб сайт который грабят был не качест
Помоему ты путаешь что такое качество и пузомерка и бэки с индексацией
Всего: 17
© 2024, JohnCMS