Чтение Cloudfront логов из S3, передача в MySQL с помощью AWS Lambda
Альберт12 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
04.04.2017
Задача: чтение Cloudfront логов и последующая запись в MySQL таблицу.
Лог по запросам пишется в S3 автоматически (Cloudfront Logs Enabled).
Access Logs добавляются автоматически в S3 Bucket в виде gz архива.
На каждое добавление (где-то в раз час) происходит вызов лямбда функции (ее надо написать).
Функции получает объект, распаковывает, читает, вставляет данные пакетно в БД.
Лог в формате ELF.
После успешной вставки переносим объект (архив с логом) в другой бакет.
Необходим мониторинг деятельности данной лямбда функции, чтобы знать, если что-то пошло
не так (ошибки при вставки, формат логов не читается, етс). Как это лучше реализовать - жду предложений.
Возможно, для этого подойдет Cloudwatch.