Proxy\SOCKS парсер и чекер
Необходимо написать скрипт, который будет парсить прокси из заданных источников (в формате IP:PORT) и в многопоточном режиме проверять собранные прокси на анонимность. Вся работа должна осуществляться с текстовыми файлами, без использования БД.
Источники указываются следующим образом:
1. список ресурсов, в котором каждый сервер должен проверяться на поддержку и прокси, и сокс
2. список ресурсов только для прокси
3. список ресурсов только для сокс
4. в идеале еще должен быть список ресурсов, по которым парсер должен пройтись на указанное количество вложенных страниц вглубь и собрать прокси с них (форумы)
Необходимый функционал:
- предварительный пинг сервера для ускорения процесса
- возможность вручную проставлять таймаут запроса
- возможность добавления списка прокси в очередь проверки вручную, а также однократная проверка в случае необходимости с выводом рабочих проксей по результатам проверки
- возможность доступа к списку через браузер
- возможность экспорта списка в текстовый файл через админ-панель
- возможность загрузки файла на удаленный фтп-сервер (через крон)
- чтобы HTTP, HTTPS, SOCKS экспортировались в разные списки
- валидные прокси собираются отдельно и перепроверяются при следующей проверке
- собирается одна большая база напарсенных проксей для коллекции и в идеале архивируется :)
- чекер должен проверять прокси на анонимность и корректность GET и POST запросов
-> при экспорте должны быть чекбоксы, какие прокси будут экспортироваться (все, либо только те, которые работают с методом POST)
Необходимо, чтобы чекер проверял как минимум несколько тысяч прокси в час на VDS и по возможности поменьше грузил сервер.
Главное - функционал, красота админки не имеет значения :)
Указывайте сроки исполнения.