PHP парсер
Парсер который обрабатывает много страниц следующим образом:
$process = curl_init($url);
curl_setopt($process, CURLOPT_HEADER, 0);
if (!is_null($data)) {
curl_setopt($process, CURLOPT_POST, 1);
curl_setopt($process, CURLOPT_POSTFIELDS, $data);
}
if (!is_null($options)) curl_setopt_array($process, $options);
curl_setopt($process, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($process, CURLOPT_COOKIEFILE, 'cookies_' . $acc_id . '.txt');
curl_setopt($process, CURLOPT_COOKIEJAR, 'cookies_' . $acc_id . '.txt');
curl_setopt($process, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5');
curl_setopt($process, CURLOPT_REFERER, 'http://www.liveinternet.ru/');
@curl_setopt($process, CURLOPT_FOLLOWLOCATION, 1);
$return = curl_exec($process);
$header = curl_getinfo($process);
//var_dump($header);
curl_close($process);
В какой-то момент зависает и браузер показывает загрузку страницы хотя фактически ничего не происходит. Так может крутится значок загрузки страницы и целый час. Помоготи как устранить проблему и контролировать "ЗАВИСАНИЕ" в скрипте.