# Koenig (17.08.2013 / 08:59)
ValekS, за раз, пришлось время выполнения скрипта побольше поставить
кому интересно то вот сайт http://gts39.ru/rubric/
Время выполнения скрипта? Это в htaccess прописываешь или где то там, да? А то я сразу столкнулся с проблемой что парсер не успевал парсить. Из-за этого делал добавление спарсеного текста в цикле, что бы текст сразу добавлялся а не собирался. Тогда за пару раз удавалось спарсить около 1к записей.
Потом я тоже увеличил время выполнения скрипта. Но когда собирал все записи в массив и в конце пытался занести массив в БД это не всегда удавалось. Массивы в пхп безграничные? А то я думал может из-за большого веса массива парсер зависает - страница грузится и все. Хоть сутки жди ничего не произойдет. Потом еще и на сайт зайти нельзя было. Или может это Опен Сервер зависает. Не знаю почему, но больше 100 записей с трудом парсились.
а где скачать можно данный блог??
# mRWiNeT (17.08.2013 / 14:51)
а где скачать можно данный блог??
Не понял. Где Скачать спарсенные записи блога?
# ValekS (17.08.2013 / 13:58)
Время выполнения скрипта? Это в htaccess прописываешь или где то там, да?
В php.ini увеличь значение переменной max_execution_time. Если стоит nginx для статики, то там тоже надо увеличить время.
массив уже на 2 метра дает сбой, но проблема решаема, сталкивался когда библиотеку писал, но по мне проще цикл, за проход запись добавляется, правда вложенность приходиться проходить циклом, да и код не идеален, можно сказать писался на коленке
# elkol (17.08.2013 / 15:32)
В php.ini увеличь значение переменной max_execution_time. Если стоит nginx для статики, то там тоже надо увеличить время.
Ну это я и делал. И в пхп.ини и в htaccess кажись. А может хтакес и не трогал.
# mRWiNeT (17.08.2013 / 15:33)
ValekS, да..
А зачем тебе их качать? Возьми спарси и все. Я их для скачивания и вылаживал. Да и что вылаживать? Дамп таблицы из БД?
# Koenig (17.08.2013 / 16:48)
массив уже на 2 метра дает сбой, но проблема решаема, сталкивался когда библиотеку писал, но по мне проще цикл, за проход запись добавляется, правда вложенность приходиться проходить циклом, да и код
Ну значит из за этого у меня ничего и не парсилось. Так как думаю что у меня массив больше двух мб иногда был. Особенно когда большие записи попадались.
И как убрать это ограничение? Мороки много?
А циклом это всмысле текст не в массив собирать, а сразу в БД добавлять? Тоесть в цикле писать mysql запрос, что как говорил Скример "не хорошо".
Koenig, Дим, сделай чтобы можно было выбирать сколько станиц чтобы парсилось за один раз, так как очень большая нагрузка на бд, и сервер, и еще сделай проверку на существования статьи.. Думаю будет лучше.
