|
|
|
| Есть скрипт который скачивает страницы с внешнего сервера и обрабатывает их. Проблема состоит в том что стандартные функции типа file(), get_file_content() и прочие работает не стабильно на сервере при большом количестве запросов, то есть или слишком долго загружают страницу, или вообще не загружают. Может можно как нибудь по другому реализовать скачивание?
И не всегда работают функции sleep(), set_time_limit(). Safe mode отключен. Может конечно я как то неправильно их использую..
Заранее спасибо.. | |
|
|
|
|
|
|
|
для: DZR
(17.02.2008 в 22:05)
| | Вы выдаёте страницы пользователям таким образом? Или сохраняете себе на сервер?
Если информация на стороннем сервере меняется не часто, то можно сканировать его весь и хранить файлы в виде html у себя на сервере. А вообще, это тонкий вопрос, т.к. всё зависит от целей и задач. | |
|
|
|
|
|
|
|
для: morkovkin
(18.02.2008 в 00:00)
| | Нет. Страницы распарсиваются и нужная информация сохраняется. Информация меняется часто. | |
|
|
|
|
|
|
|
для: DZR
(18.02.2008 в 00:09)
| | Смотрите в сторону сокетов. | |
|
|
|
|
|
|
|
для: DZR
(18.02.2008 в 00:09)
| | Это всё происходит от действий пользователей или скрипт сам обходит сайты? Много сайтов, т.е. есть база или любые сайты с инета вообще? | |
|
|
|
|
|
|
|
для: morkovkin
(18.02.2008 в 00:40)
| | Скрипт запускается сам по расписанию. Информацию забирает с одного сайта. | |
|
|
|
|
|
|
|
для: DZR
(18.02.2008 в 00:50)
| | Тогда, либо Вы что-то не так делаете. Либо страницы стороннего сайта не всегда одинаковы(по коду), либо у них стоит какая-то защита... Других вариантов не вижу.. Но смотрите в сторону работы своего скрипта. | |
|
|
|
|
|
|
|
для: morkovkin
(18.02.2008 в 00:57)
| | Нет. именно страницы не всегда загружаются, может это конечно проблема хостинга. И появилась ещё одна проблема, на хостинге жёстко ограничивается время работы скрипта.. Он просто не успевает выполняться. Может кто знает как обойти это ограничение? | |
|
|
|
|
|
|
|
для: DZR
(18.02.2008 в 01:33)
| | Чтобы обойти ограничение:
ini_set('memory_limit', '44M');
|
Данный код даёт возможность загрузить 44 мегабайта. | |
|
|
|
|
|
|
|
для: morkovkin
(18.02.2008 в 02:15)
| | Попробовал увеличить им max_execution_time не сработало.. Видимо хостер оч. переживает за свои ресурсы... | |
|
|
|
|
|
|
|
для: DZR
(17.02.2008 в 22:05)
| | А есть способ вызвать из PHP скрипта другой скрипт, а первый завершить? | |
|
|
|