CLI приложение на Java
Павел18 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
11.02.2023
Нужно создать CLI приложение на Java для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.
Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).
Все это должно быть упаковано в образ докера для тестирования.
REST-API для примера
https://developers.virustotal.com/reference/overview
В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset