Php: прокси и многопоточность
Я нуждаюсь в доработке моего php-парсера страниц.
знание php на среднем уровне, поэтому и обращаюсь...
во первых, мне нужно добавить работу с проксями, потому как уже получил кое-где бан по ай-пи.
во вторых, нужно прикрутить многопоточность и мультизапросность парсинга. извините, не совсем в теме ;)
в общем, оптимизировать время исполнения скрипта... курлами, сокетами или по другому, не знаю, как лучше, тут на ваше усмотрение. главное, чтобы без глюков, без подвисаний.
на счет моего скрипта, то он выполняет примерно следующее:
$parsArr = array();//массив из 20 кое-каких параметров
$urlsArr = array();//массив url'ов для парсинга, 1000-2000
foreach($parsArr as $par) {
foreach($urlsArr as $url) {
$cont = file_get_contents($url);
//далее из $cont выдираются нужные данные
//и если все данные ($data) собраны, они перадаются в функцию парсинга страниц
parsePages($url,$data,$par);
}
}
parsePages($url,$data,$par) {
for($i=1;$i
$cont = file_get_contents($url.$i);
//ну, а дальше ничего интересного ;)
}
}
т.е. полный парсинг выполняется 20 раз с некоторыми изменениями.
вот это нужно оптимизировать... поставить выполнение сразу на 20 процессов + мультизапросы.
какие будут предложения?