Разработка сервиса выгрузки отчётов, Node.js + Koa на бэке, Vue.js на

Существует система проведения олимпиад. Изнутри это, на самом деле, достаточно сложная вещь с богатой функциональностью (говоря умными словами, она поддерживает ведение проектной деятельности по информационному, техническому и методическому обеспечению олимпиад). Естественно, под всю эту функциональность имеются сущности в БД, и иногда по этим сущностям нужно проводить аналитику (обычно это относится к разным спискам участников). В данный момент система позволяет фильтровать данные по заданным критериям, сортировать их и выгружать в XLSX для дальнейшей ручной обработки. Если брать списки участников, то там можно выгружать результаты по различным турам, потокам площадок, на которых пользователь писал или будет писать заключительный этап, вхождение в различные системные группы, их школы/города/регионы

Что тут нас не устраивает:

Операции выгрузки иногда занимают много времени, особенно если они большие. Выгрузка происходит не в фоне, т.е. пользователь нажимает на кнопку выгрузки и ждёт, пока она выгрузится. Причём не факт, что табличка в итоге попадёт к пользователю, поскольку трафик идёт через NGINX, который обрывает соединения, от которых нет ответа определённое время. В таком случае пользователь просто получит ошибку 504

Как это должно выглядеть в итоге: пользователь нажимает на кнопку выгрузки, и система ему отвечает, что выгрузка начинает создаваться где-то в фоне и можно работать с другими страницами. В это время система где-то в фоне генерирует выгрузку, сохраняет результирующий файл и прочую информацию (когда и кем выгружено, что выгружалось, с какими параметрами и т.д.) в отдельную табличку. После сохранения система уведомляет пользователя, что выгрузка готова и что её можно скачать на определённой странице интерфейса

Как это предлагается реализовывать: у нас уже есть набор фоновых процессов, которые слушают запросы от основного приложения через Redis. Можно сделать ещё один такой процесс, который будет вызывать существующую функцию выгрузки. В этом процессе будет происходить сама выгрузка, не влияя на основное приложение (т.е. NGINX рвать соединение не будет, т.к. его просто нет). После сохранения самой выгрузки и её мета-информации процесс должен как-то сообщить пользователю, что выгрузка готова. Это можно сделать, наверно, через веб-сокеты. Также тебе нужно будет отрефакторить метод для создания выгрузки, т.к. её разработчик (изначальный разработчик системы) раздул его на 100+ строк, это неудобно читать и наверняка там остались баги