Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Консольный скрипт на пайтоне (желательно 3, но не обязательно) получает два аргумента:

1) файл с урлами для сканирования (1 00 000 - 1 000 0000 )

2) маска

Скрипт стартует Х потоков и контролирует в цикле, чтобы количество потоков не превышало лимит.

Каждый поток выполняет функцию по коннекту к урлу, экстрагирование тайтла и проверку последнего на маску, если совпадение True, пишет в файл лога аутпут в виде:

{URL:} TITLE:{title}

Все очень просто, но должно быть реализовано без либ requests, и lxml, т.к. комбинация последних почему-то делает много false positive и пропусков, заниматься и отлаживать нет времени, посему ищу человека для этой задачи.

Основные цели: добится максимальной скорости и точности.

Фреймворк twisted приветствуется

12 лет назад
wm23
37 летУкраина
14 лет в сервисе
Был
12 лет назад
  • Похожие заказы
  • Нужно подправить кодировку для уже установленного плагина на сайте. По автомату в плагине зашит английский язык. Нужно изменить это язык на русский , чтобы переименовать формочки - "next" "close" , на соответствующие, но только написанные ...

    Закрыт
    12 лет назад
  • Требуется постоянная поддержка, и доработка сайтов. Написание новых модулей (работа практический каждый день) есть программист с которым работаем в таком режиме уже больше года, но к сожалению уже не справляется с объемом работы относительно ...

    Закрыт
    12 лет назад
  • Добрый день, нужна система управления проектами, аналог по функционалу http://www.teamer.ru/about/ Т.е. в сервисе регистрируются менеджеры проектов, приглашают исполнителей, и суб-исполнителей, работают над задачами. Если вы реализовывали подобное с нуля - напишите стоимость и сроки. Если есть возможность дописать ...

    Закрыт
    12 лет назад
  • Необходима консультация по вопросам настройки шаблонов в сервисе для рассылки unisender. Основные вопросы: 1) как настроить свой шаблон со своими фирменными элементами; 2) как добиться правильной отображаемости на всех почтовых клиентах; 3) как правильно подгружать ...

    Закрыт
    12 лет назад
  • $100

    Собственно все есть в названии. Есть интернет магазин, необходимо добавить для него возможность авторизации и регистрации пользователей с помощью соц. сетей. Интересует стоимость/срок. Заинтересовавшимся сайт сброшу в личку.

    Закрыт
    12 лет назад
  • Есть сайт на Joomla. На сайте есть зарегистрированные пользователи. У зарегистрированных пользователей есть личная страничка. Нужно сделать так, чтобы доступ к этой личной страничке закрывался, если человек не проплатил членство. Укажите, пожалуйста, Ваши цены и сроки ...

    Закрыт
    12 лет назад
  • Сайт - samdom.com.ua Версия joomla - Версия 1.5.25 Сайт работает на VPS уже оптимизированной (nginx, оптимизация mysql и прочее). Кеширование нельзя включать, т.к. перестают работать фильтры на сайте (результаты фильтрования кешируются). Нужно оптимизировать работу самого движка.

    Закрыт
    12 лет назад