Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

php 5.6 (multi curl, proxy)

Здравствуйте, есть старый парсер сайта, состоящий из 2 независимых частей. 1 часть сохраняет все страницы в БД в сжатом виде, 2 часть получает из БД сохраненные сжатые страницы, распаковывает их и парсит регулярными выражениями. Например: 

$result = SELECT * FROM bigdata WHERE parse_url = "site '. $page 

$content = gzuncompress($result['parse_content']; 

Планируется перенос парсера на сервер и его автономная работа по крону, из-за чего надо доработать вторую часть для того, чтобы она работала самостоятельно, получая страницы не из БД, а через curl. Чтобы избежать банов, нужна поддержка прокси, плюс многопоточность для быстрой работы.

5 лет назад
kopenko
34 годаРоссия
6 лет в сервисе
Был
5 лет назад
6 отзывов(-1)