Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
Самоучитель PHP 5 / 6 (3 издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В. MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. Программирование. Ступени успешной карьеры. Авторы: Кузнецов М.В., Симдянов И.В. PHP на примерах (2 издание). Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: парсинг поисковой выдачи яндекса
 
 автор: nikita2206   (28.12.2011 в 23:06)   письмо автору
 
 

Ребят, если кому-то когда-то приходилось парсить большие объемы яндексовских страниц с выдачей (нужно за пару часов через прокси 10к запросов прогнать), скажите с какими проблемами сталкивались, какие-то там подводные камни может есть, чтобы сразу знать

  Ответить  
 
 автор: cheops   (28.12.2011 в 23:19)   письмо автору
 
   для: nikita2206   (28.12.2011 в 23:06)
 

Ну для начала одного прокси-сервера вам не хватит - вас заблокируют и очень быстро. Вам потребуются десятки, если не сотни прокси-серверов и далеко не факт, что и в этом случае удастся избежать бана.

  Ответить  
 
 автор: nikita2206   (28.12.2011 в 23:35)   письмо автору
 
   для: cheops   (28.12.2011 в 23:19)
 

это да, знаю

  Ответить  
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования