Парсер на с/с++ или на делфи - срочно
Делали мне тут парсер на с/с++ и очень понравилось, что можно хоть в 500 потоков запускать. Если такое возможно на дельфях без проблем, то можно и на них написать.
Необходим парсер значений тиц (урлов несколько миллионов). Многопоточная работа через прокси. В настройках указываю количество потоков. Для сбора прокси несколько урлов указаны будут в конфиг файле (на этих урлах прокси ищутся по маске, т.е. чтобы независимо от верстки урла находил там прокси). Когда прокси остается мало(очень медленные и мертвые и забаненные прокси удаляются), то программка идет опять по урлам и собирает новые. Мертвые, забаненные (это кажись когда яндекс выдает каптчу) и слишком медленные прокси из списка убераются (слишком медленные это наверно можно до секунд 40 ждать ответа, т.к. потоков штук 300-500 запускать буду)
Программке указывается файл который будем обрабатывать(текстовый файл, каждый домен с новой строки без www. и http://). Программка должна запоминать последний обработанный урл, чтобы при обрыве связи либо другой нештатной ситуации была возможность продолжить с последнего проверенного места.
Выходной формат - нулевые тиц складываются в текстовый файл, домены с тиц от 10 складываются в csv файл (одна колонка домен без www и http://), а вторая значение тиц.
В конфиг файле указываю так же когда идти за новыми проксями (к примеру когда их останется 150 в базе).
В онлайн статистике отображается сколько проксей в базе на данный момент и обратный отсчет по обработке (сколько еще урлов осталось обработать). Выходные файлы csv c тицем и txt с нулевым тицем наполняется постепенно, а не при завершении работы программы формируется.
Указывайте пожалуйста цену и сроки. Предпочтение опытному программисту с отзывами и сжатыми сроками.