Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно создать CLI приложение на Python для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.

Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).

Все это должно быть упаковано в образ докера для тестирования.

REST-API для примера

https://developers.virustotal.com/reference/overview

В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset

год назад
loyanich
Павел 
45 летУкраина
17 лет в сервисе
Был
8 дней назад