Нужно создать CLI приложение на Python для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.

Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).

Все это должно быть упаковано в образ докера для тестирования.

REST-API для примера

https://developers.virustotal.com/reference/overview

В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset

2 года назад
loyanich
Павел 
46 лет
19 лет в сервисе
Был
2 дня назад

Заявки фрилансеров

Николай
 
28 лет
2 года в сервисе
Был
2 года назад
2 года назад
Антон
 
48 лет
5 лет в сервисе
Был
2 года назад
2 года назад