Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Делали мне тут парсер на с/с++ и очень понравилось, что можно хоть в 500 потоков запускать. Если такое возможно на дельфях без проблем, то можно и на них написать.

Необходим парсер значений тиц (урлов несколько миллионов). Многопоточная работа через прокси. В настройках указываю количество потоков. Для сбора прокси несколько урлов указаны будут в конфиг файле (на этих урлах прокси ищутся по маске, т.е. чтобы независимо от верстки урла находил там прокси). Когда прокси остается мало(очень медленные и мертвые и забаненные прокси удаляются), то программка идет опять по урлам и собирает новые. Мертвые, забаненные (это кажись когда яндекс выдает каптчу) и слишком медленные прокси из списка убераются (слишком медленные это наверно можно до секунд 40 ждать ответа, т.к. потоков штук 300-500 запускать буду)

Программке указывается файл который будем обрабатывать(текстовый файл, каждый домен с новой строки без www. и http://). Программка должна запоминать последний обработанный урл, чтобы при обрыве связи либо другой нештатной ситуации была возможность продолжить с последнего проверенного места.

Выходной формат - нулевые тиц складываются в текстовый файл, домены с тиц от 10 складываются в csv файл (одна колонка домен без www и http://), а вторая значение тиц.

В конфиг файле указываю так же когда идти за новыми проксями (к примеру когда их останется 150 в базе).

В онлайн статистике отображается сколько проксей в базе на данный момент и обратный отсчет по обработке (сколько еще урлов осталось обработать). Выходные файлы csv c тицем и txt с нулевым тицем наполняется постепенно, а не при завершении работы программы формируется.

Указывайте пожалуйста цену и сроки. Предпочтение опытному программисту с отзывами и сжатыми сроками.

14 лет назад
Borodach
Олег 
41 годРоссия
17 лет в сервисе
Был
2 года назад
  • Похожие заказы
  • Необходимо создать среду для тестирования торговых роботов по поступающим им котировкам (тики из файла) - эмулировать торги. Дополнение от 03.02.2010 к этому проекту не относится.

    Закрыт
    12 лет назад
  • Добрый день. Необходимо перебрать k-lite кодек пак и запихать его в отдельный инсталятор, так же возможно будет необходимо сделать обновление инсталятора с выходом нового пака кодеков. Какой вид инсталяторов использовать ваше дело, главное чтобы было все ...

    Прикладное ПО1 исполнитель
    Завершен
    14 лет назад
  • Экспорт из DataGridView в dbf(dbase-4). Экспорт работает, проблемы с перенесением данных, содержащих двойные ковычки. Задача: Сделать экспорт нечувствительным к кавычкам. Пример кода: string myInsertQuery = "INSERT INTO obmen.dbf(A) Values('" + a + "')"; Если в a нет кавычек - ...

    Закрыт
    14 лет назад
  • Требуется опытный программист 1с 7,7 для настройки парсера сайтов, парсер на дельфи, для интернет магазина(сам парсер готов).что он делает- (загружает товары и цены, картинки, ставит цены). Также нужны работы и настройки по доработке сильно переписанной ...

    Закрыт
    14 лет назад
  • Есть последовательный список вопросов с несколькими вариантами ответов на каждый. Отвечая на вопрос, пользователь перемещается на следующий вопрос. В зависимости от выбранных вариатнов ответов, после всех вопросов пользователю показывается тот или иной текст. То есть ...

    Закрыт
    14 лет назад
  • Обработка для 1С:Предприятие 8.1 конфигурация «Управление торговлей 10.3» Печать почтовых бланков для отправки по почте (все данные берутся из справочников 1С): 1. Бандероль с объявленной ценностью, 2. Посылка с объявленной ценностью, 3. Бандероль без объявленной ценности, 4. Бандероль 1 Класса, 5. Международный мелкий пакет Возможность печати ...

    Прикладное ПО1 исполнитель
    Завершен
    14 лет назад
  • $500

    Необходимо на базе микроконтроллера создать модуль расширения для навигационного терминала. Функциональность: Входы: 485 порт 232 порт 2 аналоговых 3 счетных Выход: 232 с с протоколом передачи данных на терминал навигации.

    Закрыт
    14 лет назад