Форум PHP

Уважаемые специалисты!
Нужна помощь в вопросе, куда начинать копать.
Задача следующая, необходимо в определенное время запустить скрипт на php (его можно разбить на несколько), который выкачивает прайсы в xml, обновляет базу SQl и генерирует прайс с учетом новых данных.
Время выполнения задачи примерно 4 часа.

Как вариант использовать cron для запуска, но у него ограничение по времени. Можно разбить на мелкие итерации, но это не лучший вариант для загрузки сервера.

Что вообще используется в данном случае, чтобы не изобретать велосипед?

4 часа, это через чур. Нужна и оптимизация, скорее есть что оптимизировать, и разбиение на более мелкие законченные задачи.

Процесс такой, выкачали 5 прайсов - это пару секунд
В таблице товаров 112085 записей.
В каждом прайсе порядка 60000 товаров.

Необходимо просмотреть все товары и обновить их цену и наличие в базе.

Что там оптимизировать? Монотонный процесс.

там реально нечего оптимизировать... там программиста надо пристрелить

У меня с утра - уже около 6 часов работает скрипт и ничего. У меня там вставка с IGNORE, а записей около 3 млн. Наверно, оставлю его до завтра.

судя по времени INSERT IGNORE в цикле, за такое тоже программиста надо шлёпать по попе :)

Т.е. можно без цикла - запускать скрипт на каждую запись? LOAD DATA мне не подходит. Удаление дубликатов тоже занятие не быстрое.

Елена, мой скайп valick1977 стукните, зайду когда время будет, сегодня не обещаю, завтра утром скорее всего.
тут можно и нужно обходиться без цикла, естественно про запуск скрипта под каждую запись речи не идёт, за такое четвертовать надо :)
и не спешите открещиваться от LOAD DATA я вам в скайпе расскажу почему