Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
C++. Мастер-класс в задачах и примерах. Авторы: Кузнецов М.В., Симдянов И.В. MySQL на примерах. Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель PHP 5 / 6 (3 издание). Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель MySQL 5. Авторы: Кузнецов М.В., Симдянов И.В. PHP 5. На примерах. Авторы: Кузнецов М.В., Симдянов И.В., Голышев С.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум (новые сообщения вниз) Структурный форум

тема: Не получается отпарсить сайт

Сообщения:  [1-6] 

 
 автор: maloi_m3   (28.09.2011 в 12:30)   письмо автору
 
   для: Axxil   (22.09.2011 в 23:06)
 

Огромное спасибо, выручил.

  Ответить  
 
 автор: Axxil   (22.09.2011 в 23:06)   письмо автору
10.4 Кб
 
   для: maloi_m3   (22.09.2011 в 21:58)
 

Я использую удобную обёртку для curl (в аттаче)

Пример использования:

   <? 
    
require_once "curl.php";
    
$curl = new helper_curl();
    
$ua 'Mozilla/5.0 (Windows NT 6.1; rv:5.0) Gecko/20100101 Firefox/5.0';  
    
$curl->set_user_agent($ua);
    
$curl->store_cookies("cookies.txt");
    
$url 'http://www.1channel.ch/watch-2643383-Contagion';
    echo 
$str $curl->fetch_url($url);
   
?>

  Ответить  
 
 автор: cheops   (22.09.2011 в 22:02)   письмо автору
 
   для: maloi_m3   (22.09.2011 в 21:58)
 

Лучше всего написать скрипт, который бы читал HTTP-заголовки и сообщал их вам, и начать с него, отправляя те же самые HTTP-заголовки и проверяя на этом самом скрипте.

  Ответить  
 
 автор: maloi_m3   (22.09.2011 в 21:58)   письмо автору
 
   для: cheops   (22.09.2011 в 21:47)
 

Подскажите, что почитать чтоб составить правильный запрос имитирующий пользователя?

  Ответить  
 
 автор: cheops   (22.09.2011 в 21:47)   письмо автору
 
   для: maloi_m3   (22.09.2011 в 21:41)
 

Функция file_get_contents() не ведет себя как браузер, она не сохраняет cookie (скрипт с CURL тоже не опрашивает cookie с сайта), не отправляет пользовательский ангент, который обычно отправляют браузеры... факторов может быть довольно много.

  Ответить  
 
 автор: maloi_m3   (22.09.2011 в 21:41)   письмо автору
 
 

Всем доброго времени суток, не получается отпарсить сайт, пробовал просто file_get_contents, также таким скриптом.



if(isset($_GET['url'])) { $ch = curl_init($_GET['url']); }

curl_setopt ($ch, CURLOPT_COOKIE, "stay_here=1");
$output = curl_exec ($ch);
curl_close($ch);

print_r('<pre>');
print_r($output);



выдаёт пустую страницу, другие сайты всё нормально а этот не как http://www.1channel.ch/watch-2643383-Contagion, подскажите в чём может быть проблема?

  Ответить  

Сообщения:  [1-6] 

Форум разработан IT-студией SoftTime
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования