Обнаружение выбросов и пропусков данных в Storm
Александр11 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
06.06.2014
Реализовать в инфраструктуре Storm (потоковая обработка данных). На Java.
На вход поступает большой файл формата .csv с двумя колонками данных: TimeStamp и Value.
Пример:
Timestamp Value
01.01.2010 0:00 4
01.01.2010 0:15 32
01.01.2010 0:30 12
01.01.2010 0:45 20
...
Сделать конвейер обработки данных с генерацией следующих топологий:
1) выявление выбросов (есть пороговое значение, если value больше, то происходит event и запись в БД)
2) выявление пропусков:
2.1) если текущее значение value не инициилизированно, то event и запись в БД
2.2) хранится значение предыдущего TimeStamp. считается разница между текущим и предыдущим. если модуль больше 15 минут, то event и запись в БД.