Парсинг данных стриминговой платформы

Необходимо разработать:

1. Алгоритм агрегации данных стриминговой платформы на C#, Python

2. Структуру БД в Яндекс ClickHouse или Elasticsearch

3. Интерфейс для визуализации данных или интеграцию с PowerBI / Tableau или аналогами

4. Минимально-допустимую документацию

Требования к исполнителю:

1. Наличие опыта в разработке многопоточного алгоритма агрегации данных через WebSocket / Proxy / Socks с возможностью держать тысячи активных соединений и проверять их состояние для переподключения

2. Наличие опыта проектирования БД с таблицами размером более 1 млрд. записей в Яндекс ClickHouse или Elasticsearch

3. Опыт визуализации данных в любых разрезах из БД Яндекс ClickHouse или Elasticsearch

4. Понимание основ Data Science

5. Как плюс, территориальное расположение в Санкт-Петербурге

Техническое задание:

https://yadi.sk/i/EkdHg9y65IrnYw

Оперативная связь:

https://t.me/virtualproductionin