Proxy\SOCKS парсер и чекер

Руслан19 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
03.12.2007

Необходимо написать скрипт, который будет парсить прокси из заданных источников (в формате IP:PORT) и в многопоточном режиме проверять собранные прокси на анонимность. Вся работа должна осуществляться с текстовыми файлами, без использования БД.

Источники указываются следующим образом:

1. список ресурсов, в котором каждый сервер должен проверяться на поддержку и прокси, и сокс

2. список ресурсов только для прокси

3. список ресурсов только для сокс

4. в идеале еще должен быть список ресурсов, по которым парсер должен пройтись на указанное количество вложенных страниц вглубь и собрать прокси с них (форумы)

Необходимый функционал:

- предварительный пинг сервера для ускорения процесса

- возможность вручную проставлять таймаут запроса

- возможность добавления списка прокси в очередь проверки вручную, а также однократная проверка в случае необходимости с выводом рабочих проксей по результатам проверки

- возможность доступа к списку через браузер

- возможность экспорта списка в текстовый файл через админ-панель

- возможность загрузки файла на удаленный фтп-сервер (через крон)

- чтобы HTTP, HTTPS, SOCKS экспортировались в разные списки

- валидные прокси собираются отдельно и перепроверяются при следующей проверке

- собирается одна большая база напарсенных проксей для коллекции и в идеале архивируется :)

- чекер должен проверять прокси на анонимность и корректность GET и POST запросов

-> при экспорте должны быть чекбоксы, какие прокси будут экспортироваться (все, либо только те, которые работают с методом POST)

Необходимо, чтобы чекер проверял как минимум несколько тысяч прокси в час на VDS и по возможности поменьше грузил сервер.

Главное - функционал, красота админки не имеет значения :)

Указывайте сроки исполнения.