CLI приложение на Python

Нужно создать CLI приложение на Python для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.

Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).

Все это должно быть упаковано в образ докера для тестирования.

REST-API для примера

https://developers.virustotal.com/reference/overview

В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset