Нужно настроить ELK

Друзья, нужна помощь в настройке стека ELK.

Что у меня уже есть:

1. Debian 9

2. Установленный на ней стек ELK от Bitnami (https://bitnami.com/stack/elk)

3. Клиентские приложения на python, из которых нужно делать логирование в ELK. Используется стандартный модуль logging. Этой частью занимаюсь я.

Приложение пишет следующие виды логов:

1. текущие записи для отладки. записи добавляются примерно 1 раз в секунду. всего приложений на сегодня порядка 20, вырастет до 200

2. записи об исключениях, каждая запись, помимо структурированной информации содержит многострочную информацию из стека.

3. записи об успешных и не успешных операциях

4. во время исключения делаются скриншоты и сохраняется еще дополнительный текстовый файл, размером порядка 5 кб.

На основе записей №1-3 нужно будет формировать отчеты в Kiabna, я расскажу какие отчеты.

Записи №4 тоже должны быть как-то доступны для просмотра, но я не знаю, умеет ли ELK обрабатывать большие файлы и картинки в логах.

Длительность хранения в днях: 7, 10, бесконечно, 7 (соответственно)

Что нужно сделать:

1.На основе моей задачи, придумать структуру индексов и описать остальные важные части ELK. В результате должно получится что-то вроде ТЗ на настройку ELK.

2.Сделать настройку ELK по этому же ТЗ, плюс необходимые настройки по безопасности сервера. В результате, мои клиентские приложения должны начать писать логи в систему. А в Kibana мы должны иметь возможность сформировать нужные отчеты. Logstash должен работать через SSL, вот что предлагает по этой части Bitnami (https://docs.bitnami.com/installer/apps/elk/administration/connect-remotely-logstash/)

3.Пошаговая инструкцию как воспроизвести эту настройку на другом севере.