Парсер сайтов

Андрей18 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
11.12.2007

Значит есть файл с урлами сайтов (размеры могут быть большые до сотен тисяч) скрипт должен:

-качать каждую станицу в многопоточном режиме (количество потоков задается в интерф. в виде числа) и если размер страницы

-если в файл из найдеными урлами попадает хоть 1 урл - отправляем мыло на указаный ящик из размером и тем урлом/урлами которые там есть в интерфейсе должна быть галочка отправлять/не отправлять

- так же Для экономии трафика желательно сделать в интерфейсе такое поле "закачивать если размер страницы не более ...кБ" это нужно для того чтобы не качать страницы по 500кб если нужны страницы не более 20 кБ.

- В интерф. нужен индикатор работы (% выполнения), который отображал бы текущий % выполнения при обновлении страницы.

- кнопка старт, стоп, сохранение результатов каждые 10 минут.

- возможность поиска текста в тех страницах которые закачиваются (в интерф. строка ввода предложения) и галочка искать/не искать а так же их сохр. в отдельный файл.

- работа по цыклу (через крон) тоесть когда проверился весь список, проверка начинаеться заново до того момента, когда будет нажата кнопка стоп.