Парсинг сайта

0.

работа будет производиться с букмекерский конторой Bet365 далее обозначающейся как БК

домены: bet365.com, bet365.es

Аккаунты если необходимо - обсуждаются отдельно

Спорт который надо парсить - киберспорт

1. Цель:

- Разработать скрипт для сбора обновлений коэффициентов на лайв-событиях с сайта БК.

2. Получение коэффициентов:

- получать список событий по заданному виду спорта

- Получать обновления коэффициентов на лайв-событиях.

- Извлекать необходимую информацию - например название матча, лига, ссылка, идентификатор события, коэффициенты, статистические данные (количество голов, угловых атак, желтые и красные карточки и пр) - по сути получать все данные что отдает БК по событию

- коэффициенты нужные в первую очередь: 1x2, totals, handicaps, team_totals1, team_totals2

- Обеспечить эффективную обработку большого количества обновлений коэффициентов в режиме реального времени.

- для лайва сбор должен осуществляться 1 раз в 1-2 секунды

- предусмотреть возможность смены вида спорта (футбол, баскетбол, теннис и пр.)

3. Использование прокси:

- Реализовать возможность использования прокси-серверов для подключения к БК.

- Поддерживать работу с несколькими прокси и автоматическое переключение при отказе прокси ИЛИ в профилактических целях (чтоб меньше банили)

4. Обработка ошибок и исключений:

- Обрабатывать ошибки и исключения при работе с БК.

- Логировать ошибки и исключения.

5. Требования к документации:

- Подготовить документацию по использованию скрипта, включая инструкции по настройке и запуску.

- Подготовить информацию об ошибках

6. Результат

- Результатом выполнения задания будет скрипт, который получает данные и демонстрация того что эти данные актуальны (такие же как на сайте БК в данный момент времени)

- Данные сохранять построчно в формате csv либо многострочный json

- данные должны иметь понятную структуру - т.е. переформатировать из формата БК на понятный формат

как пример:

{

'match_id'

'match_name'

'liga_name'

'liga_id'

'1x2':{}

'totals':{}

'handicaps':{}

'team_totals1':{}

'team_totals2':{}

'statistics':{}

}