Парсинг букмекерских контор

Прикладное ПОЗакрыт2 заявки530 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Необходимо спарсить ставки по всем событиям и видам спорта в разделах Live-ставок со следующих букмекерских контор:

https://www.bet365.com/#/IP/

https://zenit20072019.top/new/live

https://479921.olimp3ed3.top/betting

(если какая-либо из ссылок не открывается - ищите в интернете зеркала, они постоянно меняются)

Требования:

- парсинг в реальном времени;

- максимальное время от получения всех данных до их поступления на

основной сервер 5 сек (решения дольше 5 сек уже есть, они не

устраивают);

- обход защит в том случае, если будут происходить блокировки (а они, судя по отзывам других специалистов, происходят).

Примечания:

Заранее предупреждаю что вариант с отправкой HTTP-запроса и парсингом ответа

сервера не подходит, поскольку тот же Bet365 выдает JavaScript-код

генерирующий страницу уже на front-end'е. Также, данные в таблицах

подгружаются без перезагрузки страниц - вероятно, требуется внедрение в

страницу JS-кода обрабатывающего эти изменения и отсылающего все на

сервер. Вижу в качестве возможного решения использование нечто вроде

Selenium, UI Kantu, Laravel Dusk, PhantomJS / CasperJS, но это лишь

предположения, Вы можете предложить еще более эффективные решения, если

они у Вас есть.

С написанием JS-кода извлекающего данные с каждой из страниц проблем нет - при необходимости, могу разработать и

предоставить данный код. Ключевая задача сейчас не столько в том чтобы

распарсить каждую отдельную страницу, сколько в том, чтобы

спроектировать программный продукт обходящий ограничения и защиты каждой

из БК и обеспечивающий необходимое быстродействие для обработки этого

множества страниц на разных сайтах (распределение задач по парсингу

между несколькими машинами).

Жду:

- краткое описание способа реализации в нескольких предложениях (логика/принцип, технология);

- требования к среде исполнения (если нужны сервера - сколько и какой конфигурации);

- сроки;

- бюджет.

P.S. Пожалуйста, реально оценивайте ваши силы. Парсинг БК - не парсинг интернет-магазинов - здесь ситуация сложнее. В первую очередь подумайте про распределение нагрузки (вряд ли один компьютер вытянет) и обход возможных блокировок, сам код извлекающий цифры со страниц - последнее (и не самое трудное) дело в данной задаче.

JavascriptLaravelSelenium
5 лет назад
Raroom
Вадим 
34 годаРоссия
9 лет в сервисе
Был
2 года назад
  • Похожие заказы

  • Дописать криптор из исходников

    Доброго времени суток, господа фрилансеры. Нужно дописать криптор: [url=https://github.com/XShar/Run_pe_cryptor_frame]исходники[/url] и [url=https://ru-sfera.org/threads/frejmvork-kriptora-protektora-s-antiehmuljaciej.3809/]тема с обсуждением на форуме[/url]. Если коротко, то имеется фреймворк для создания метаполиморфного криптора. Фреймворк генерирует уникальный стаб, используя мусорные функции и т.д. Сейчас криптор детектится большинством антивирусов. ...

    Прикладное ПО1 исполнитель
    Завершен
    5 лет назад

  • С++ Blockchain разработчик

    [b]Мы ожидаем, что у вас есть:[/b] - Опыт работы с С++. - Опыт работы с блокчейн (Bitcoin или его форки). [b]Что нужно делать:[/b] - Сопровождать текущий блокчейн. [b]Будет плюсом:[/b]  - Опыт работы с NodeJS. [b]Наш стек:[/b] - С++ / Qt. - NodeJS- MongoDB, PostgreSQL.

    PostgreSQLMongoDBNode.jsBlockchain
    Прикладное ПО2 заявки
    Закрыт
    5 лет назад

  • Десктопное приложение C#

    Нужно создать приложение на C# (windows form), содержащее следующий функционал: - Доступ к сайту по FTP - Выгрузка сайта локально (бекап) - Пользователь указывает некоторые настройки через интерфейс (текстбоксы, списки...) - Пользователь через интерфейс указывает правила по которым будет ...

    HTMLТексты для сайта
    Прикладное ПО5 заявок
    Закрыт
    5 лет назад

  • Создание простого приложения на C# - работа с TOR

    Необходимо создать приложение на C# для работы с TOR. Как настроить TOR как прокси написано на официальном сайте В архиве 2 скриншота и решение на MS Visual Studio. Решение содержит 2 проекта: 1) TorControl - проект для работы ...

    Прикладное ПО1 заявка
    Закрыт
    5 лет назад

  • Бот для аукциона Вконтакте

    Доброго дня! Необходим аукцион-бот Вконтакте, для автоматического проведения аукционов, принятия ставок и т.д. Более подробно в файле с необходимым алгоритмом работы бота. Бота необходимо запускать из под Windows, с возможностью управления с андроида. У бота должен ...

    Android
    Прикладное ПО1 исполнитель
    Завершен
    5 лет назад

  • Создать клиента в Core.Net для работы с asmx сервисом.

    Нужно  сделать  консольное  приложение для  Core.NET2.2 - клиент  SOAP сервиса  (asmx) Что делает сервис  не  важно - нужно написать работающий  код чтобы  просто  достучатся  до него. Есть работающее  тестовое  приложение  для примера  на  обычном  .NET

    Прикладное ПО1 заявка
    Закрыт
    5 лет назад

  • Парсинг

    Необходим парсер  Задача по определенным диапазонам  находить объекты  словом во вкладке  и собирать их в отдельный файл или например таблицу.

    Прикладное ПО2 заявки
    Закрыт
    5 лет назад