Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. Программирование. Ступени успешной карьеры. Авторы: Кузнецов М.В., Симдянов И.В. PHP на примерах (2 издание). Авторы: Кузнецов М.В., Симдянов И.В. Объектно-ориентированное программирование на PHP. Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум (новые сообщения вниз) Структурный форум

тема: Как правильно спарсить цены с интернет-магазина?

Сообщения:  [1-2] 

 
 автор: cheops   (29.04.2013 в 22:49)   письмо автору
 
   для: Dimox   (28.04.2013 в 10:31)
 

Обычно такие скрипты запускают не через браузер, а отдельно, по cron-заданию, снимая ограничение во времени выполнения.

  Ответить  
 
 автор: Dimox   (28.04.2013 в 10:31)   письмо автору
 
 

У меня в массиве есть список страниц интернет-магазина, с которых я выдергиваю цену. Использую file_get_contents и регулярное выражение. Результат записываю в json-файл.

Страниц довольно много (сейчас примерно 60), поэтому то ли скрипту времени не хватает на выполнение, либо что-то еще, но в результате я получаю ошибку: 504 Gateway Time-out (nginx). При этом в настройках PHP у меня время выполнения стоит 300 секунд, т.е., вроде бы должно хватать.

Расскажите, пожалуйста, как правильно делать подобный парсинг, чтобы гарантированно получить данные?

  Ответить  

Сообщения:  [1-2] 

Форум разработан IT-студией SoftTime
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования