Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP на примерах (2 издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP 5/6. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP Puzzles. Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Скачивание большого количества файлов.
 
 автор: DZR   (17.02.2008 в 22:05)   письмо автору
 
 

Есть скрипт который скачивает страницы с внешнего сервера и обрабатывает их. Проблема состоит в том что стандартные функции типа file(), get_file_content() и прочие работает не стабильно на сервере при большом количестве запросов, то есть или слишком долго загружают страницу, или вообще не загружают. Может можно как нибудь по другому реализовать скачивание?

И не всегда работают функции sleep(), set_time_limit(). Safe mode отключен. Может конечно я как то неправильно их использую..
Заранее спасибо..

   
 
 автор: morkovkin   (18.02.2008 в 00:00)   письмо автору
 
   для: DZR   (17.02.2008 в 22:05)
 

Вы выдаёте страницы пользователям таким образом? Или сохраняете себе на сервер?

Если информация на стороннем сервере меняется не часто, то можно сканировать его весь и хранить файлы в виде html у себя на сервере. А вообще, это тонкий вопрос, т.к. всё зависит от целей и задач.

   
 
 автор: DZR   (18.02.2008 в 00:09)   письмо автору
 
   для: morkovkin   (18.02.2008 в 00:00)
 

Нет. Страницы распарсиваются и нужная информация сохраняется. Информация меняется часто.

   
 
 автор: SHAman   (18.02.2008 в 00:14)   письмо автору
 
   для: DZR   (18.02.2008 в 00:09)
 

Смотрите в сторону сокетов.

   
 
 автор: morkovkin   (18.02.2008 в 00:40)   письмо автору
 
   для: DZR   (18.02.2008 в 00:09)
 

Это всё происходит от действий пользователей или скрипт сам обходит сайты? Много сайтов, т.е. есть база или любые сайты с инета вообще?

   
 
 автор: DZR   (18.02.2008 в 00:50)   письмо автору
 
   для: morkovkin   (18.02.2008 в 00:40)
 

Скрипт запускается сам по расписанию. Информацию забирает с одного сайта.

   
 
 автор: morkovkin   (18.02.2008 в 00:57)   письмо автору
 
   для: DZR   (18.02.2008 в 00:50)
 

Тогда, либо Вы что-то не так делаете. Либо страницы стороннего сайта не всегда одинаковы(по коду), либо у них стоит какая-то защита... Других вариантов не вижу.. Но смотрите в сторону работы своего скрипта.

   
 
 автор: DZR   (18.02.2008 в 01:33)   письмо автору
 
   для: morkovkin   (18.02.2008 в 00:57)
 

Нет. именно страницы не всегда загружаются, может это конечно проблема хостинга. И появилась ещё одна проблема, на хостинге жёстко ограничивается время работы скрипта.. Он просто не успевает выполняться. Может кто знает как обойти это ограничение?

   
 
 автор: morkovkin   (18.02.2008 в 02:15)   письмо автору
 
   для: DZR   (18.02.2008 в 01:33)
 

Чтобы обойти ограничение:
ini_set('memory_limit', '44M');

Данный код даёт возможность загрузить 44 мегабайта.

   
 
 автор: DZR   (18.02.2008 в 04:32)   письмо автору
 
   для: morkovkin   (18.02.2008 в 02:15)
 

Попробовал увеличить им max_execution_time не сработало.. Видимо хостер оч. переживает за свои ресурсы...

   
 
 автор: DZR   (18.02.2008 в 20:33)   письмо автору
 
   для: DZR   (17.02.2008 в 22:05)
 

А есть способ вызвать из PHP скрипта другой скрипт, а первый завершить?

   
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования