Я нуждаюсь в доработке моего php-парсера страниц.
знание php на среднем уровне, поэтому и обращаюсь...
во первых, мне нужно добавить работу с проксями, потому как уже получил кое-где бан по ай-пи.
во вторых, нужно прикрутить многопоточность и мультизапросность парсинга. извините, не совсем в теме ;)
в общем, оптимизировать время исполнения скрипта... курлами, сокетами или по другому, не знаю, как лучше, тут на ваше усмотрение. главное, чтобы без глюков, без подвисаний.
на счет моего скрипта, то он выполняет примерно следующее:
$parsArr = array();//массив из 20 кое-каких параметров
$urlsArr = array();//массив url'ов для парсинга, 1000-2000
foreach($parsArr as $par) {
foreach($urlsArr as $url) {
$cont = file_get_contents($url);
//далее из $cont выдираются нужные данные
//и если все данные ($data) собраны, они перадаются в функцию парсинга страниц
parsePages($url,$data,$par);
}
}
parsePages($url,$data,$par) {
for($i=1;$i
$cont = file_get_contents($url.$i);
//ну, а дальше ничего интересного ;)
}
}
т.е. полный парсинг выполняется 20 раз с некоторыми изменениями.
вот это нужно оптимизировать... поставить выполнение сразу на 20 процессов + мультизапросы.
какие будут предложения?
Требуется написание скрипта для CorekDraw (подготовка к печати на широкоформатном плоттере). Возможности: - добавление полей - "простановка" люверсов (с заданым интервалом) - оптимальная компоновка для вывода на печать
Требуется разработчик по Flash для добавлению готового Portfolio к существующему приложения. Предоставте, пожалуйста, ссылки на законченные проекты. Skype: idynasty
Здравствуйте! Где-то читал о программе, которая переводит текст в аудио, чет не нашел... Функционал: - перевод русскоязычного текста с сайта или отдельных файлов в аудио - аудио - желательно мп3 - хорошее качество произношения и воспроизведения Для создания аудио подкаста на ...
Здраствуйте. требуется создать форум такой как здесь http://lutecia.carnage.ru/forum.pl если ваша цена будет больше, чем 220 долларов, то не отписывайтесь - рассматривать не буду. аська 178150228 делать на php.
Есть макет сайта, который требуется положить на cms http://www.templatemonster.com/website-templates/2675.html
Парсинг фото хостингов по ключевому слову. (flickr, Picasa, Выдача Google картинки....) Например запрос - Girls На выходе два файла в формате txt 1) Прямые ссылки на изображения 2) Ссылки в формате html для вставки на собственный сайт. Количество изображений по ...
Алгоритм. На стороне клиента формируется заказ через окно заказа (рис. Шаг1) После отправления формы ("сделать on-line заказ") активируется скрипт на сервере. Он генерирует форму для отсылания заказа обратно клиенту(рис. Шаг 2). После заполнения формы и ...
Есть англоязычный сайт, есть верстка на несколько разделов, которые нужно добавить. Оплата поэтапная за каждый раздел. Движок самописный, оставляйте свои контактные данные, свяжусь и вышлю ТЗ.
Анимация элемента т3 в приложение Бюджет 10 wmz сроки 1-2 часа
Добрый день, уважаемые участники проекта Weblancer.net Ищу исполнителя на написание модуля "Кредитный калькулятор" для регионального сайта банковской тематики. Калькулятор должен состоять из 3-х частей: 1) расчет ипотечного кредита 2) расчет автокредита 3) расчет потребительского кредита После того, как человек определился ...