Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Парсер на основе headless браузера

Требования к парсеру

  • Должен уметь ходить через прокси с авторизацией и без
  • Должен оперировать куками и прочими хранилищами как обычный браузер, т. е. запоминать между запусками (обычно headless браузеры стартуют пустыми, поэтому нужно применять определенные профили в зависимости от IP:PORT прокси)
  • Желательно уметь задавать разное окружение (плагины, разрешение, шрифты, юзерагент и т.д.) проверять можно тут http://www.fingerprint.pet-portal.eu/ чтобы в итоге можно было привязать один IP:PORT к одному окружению и чтобы между собой они были минимально похожи
Логика работы одного цикла

Парсер переходит на сервер очереди, забирает ссылку из очереди, применяет окружение в зависимости от ip:port и переходит по ссылке-заданию, собирает html и возвращает на сервер заданий (общение с сервером заданий простым http клиентом)

Если в процессе работы получил капчу нужно решить её через сервис антикапчи.

Есть полное ТЗ которое описывает формат данных между сервером заданий и парсером и прочие тонкости, после определения исполнителя.

6 лет назад
vlant
74 годаРоссия
6 лет в сервисе
Был
6 лет назад
  • Похожие заказы
  • $430

    [b]#Задача  [/b] [i]Нужно из верстки сделать магазин на Opencart  [/i] [b]#Бюджет 430$ или пишите свою цену. [/b] [i]Оплата через безопасную сделку, или без предоплаты. [/i] [b]#Сроки: 7  - 20 дней  [/b] [i]Нужно сделать срочно, без халтуры и без задержек. Времени ждать нету.  [/i] [b]#Основные требования:[/b] [b]* [/b]Нужно реализовать ...

    Закрыт
    6 лет назад
  • Сайт www.webmabo.ru на нем форма "записаться на шоу урок".  Необходимо сделать обработчик этой формы (php?).  Чтобы при заполнение формы пользователем, приходило письмо в зависимости от поля Адрес.  Например, если в поле выбрано Адрес 1, то письмо ...

    Завершен
    6 лет назад
  • Необходимо по нажатию кнопки формы type="button" на странице материала JOOMLA скрипт (например parser.php) авторизовался на сайте http://public.servicebox.peugeot.com/pages/index.js и данные с поля формы type="text" были запросом переданы на сайт. Далее результаты спарсены и выведены на странице ...

    Закрыт
    6 лет назад
  • Уже стояла невидимая рекапча, но после каких-то изменений работать перестала. Нужно поставить версию 2. Также на сайте уже есть версия 2  в другом месте (она работает), давайте поменяем коды на те, которые будут созданы в моём аккаунте.

    Завершен
    6 лет назад
  • $30

    [b]Необходимо интегрировать платежную форму Fondy.eu на сайт.[/b] Поля, которые необходимо встроить на сайт: - Ввод номера банковской карты - Ввод срока действия карты - Ввод CVV2-кода карты - Кнопка "Продолжить" После готовности исполнения данного заказа, все доступы и дополнительную инфу по ...

    Закрыт
    6 лет назад
  • Требуется разработка ПО которое должно выполнять две функции. 1)  формировать единый файл(образ виртуального диска) из нескольких видео и аудио дорожек(Full Hd, 4K). С возможностью переключения  их в режиме просмотра. С возможностью программирования меню, и постановки маркёров ...

    Закрыт
    6 лет назад
  • $1500

    Коллеги нужно перенести сайт [url=http://fiberscope.net]Fiberscope.net[/url] на Тильду Нужен человек или команда которая отлично знает Tilda и может это сделать достаточно быстро. Нюансы  - нужно перенести весь контент как он сейчас есть точь в точь - перенести title и description как он ...

    Закрыт
    6 лет назад
  • Приветсвую, нужен сайт по продаже накрутки на MKX mobile, по типу [url=http://topseller.pro/]http://topseller.pro/[/url] с товарами и другими разделами. Сколько будет стоить и какие сроки выполнения?

    Закрыт
    6 лет назад
  • Интересует настройка получения первой картинки из гугл картинок по апи Google Custom Search (если это возможно)  [url=https://developers.google.com/custom-search/]https://developers.google.com/custom-search/[/url]  [url=https://developers.google.com/custom-search/json-api/v1/overview]https://developers.google.com/custom-search/json-api/v1/overview[/url]  Полученную картинку выводить на сайте, сохранение в базу данных не нужно просто отображение. Или любым другим способом cms Битрикс

    Закрыт
    6 лет назад