Sql проектирование хд и olap куба

ЗаданиеВ процессе выполнения домашнего задания необходимо решить несколько задач, относящихся к области проектирования хранилища данных:• Подготовка и анализ исходных данных;• Проектирование реляционного хранилища данных;• Разработка ETL-процедур;• Разработка OLAP-куба и информационных панелей.Задание выполняется в группе из 3 человек. Оцениваются следующие результаты работы:1. отчет в формате docx;2. каталог, содержащий созданные в процессе работы диаграммы, файлы, созданные прикладными программными средствами, сценарии и модели;3. презентация в формате  видеообзора (не более 30 минут; каждый участник группы должен прокомментировать часть полученных результатов). Этап 1. Подготовка данныхОбязательное условие блока: • Подготовьте два источника транзакционных данных, имеющих разные форматы (например, xlsx, csv). Можно найти один массив данных и сделать из него два;• Минимальное количество справочников – три. Для одного из справочников необходимо предусмотреть возможность отслеживания изменений. Структура справочников не должна быть тривиальной (как минимум три не ключевых атрибута);• Должна быть четко сформулирована цель, с которой производится интеграция выбранных данных;• Разработайте требования к аналитической отчетности;• Структура и состав найденных данных (вместе с источником, откуда они взяты) должны быть описаны в отчете. Дополнительные условия блока:• Выберите такой массива данных, на котором можно проводить анализ не только транзакций, но и анализ снимков состояния (анализ изменения состояния); • В отчете приведите пример других задач, которые могли бы быть решены на тех данных, которые вы нашли.Этап 2. Проектирование. Разработка структуры РХДОбязательные условия блока:• Разработать и подробно описать в отчете структуру хранилища данных. Структура витрины данных - снежинка или звезда• Наличие буферной области (staging area). Витрина данных в формате «звезда/снежинка»;• Должна быть представлена схема архитектуры вашего ХД (можно представить в виде нескольких схем)o Витрина данных должна содержать как минимум одну таблицу фактов;o В хранилище должно содержаться как минимум две меры.• Представить схему потоков данных, а именно: описать, каким образом данные из источников попадают в витрину;• В отчете должно быть подробно описано, для чего служит каждый элемент архитектуры РХД;• В отчете должно быть разъяснено, какой уровень гранулярности данных будет использован и почему (подсказка: объяснение должно следовать из раздела 1);• Хранилище данных содержит в себе витрину данных, ориентированную на подготовку отчетности для решения задач, обозначенных во введении.Дополнительные условия блока:• Хранилище данных содержит нормализованную часть, разработанную с помощью инструментов anchor modeling;• Меры, используемые в проекте ХД должны быть описаны отдельно (аддитивность, причины включения в модель ХД)Этап 3. Загрузка и обработка данныхОбязательные условия блока:• Описать в отчете порядок начальной и инкрементной загрузки данных (текстовые пояснения и диаграммы);• Реализовать начальную загрузку данных (разработать пакет/процедуру загрузки в SSIS или любом другом средстве ETL). Реализовать обработку ошибок загрузки;• Выполнить загрузку в хранилище;• В отчете должны быть приведены скриншоты, иллюстрирующие каждый этап выполнения процедуры загрузки + скриншот успешного запуска пакета/процедуры.Дополнительные условия блока:• Реализовать инкрементную загрузку данных. Для этого массив исходных данных следует разделить на два: для первой части произвести начальную загрузку, для второй – инкрементную. В результате повторной загрузки не должны возникать ошибки (скриншот успешного запуска следует добавить в отчет), факт загрузки должен быть сохранен в журнале (в виде таблицы). Этап 4. Разработка OLAP-куба и информационных панелейОбязательное условие блока:• Создать OLAP-куб с использованием SSAS и заполнить его даннымиo Куб должен содержать не менее трех измерений, одно из которых – дата. Необходимо описать каждое измерение и его назначение;o Измерения должны содержать иерархии (можно обычные, можно parent-child);o Отношения атрибутов должны быть настроены корректно.• Все элементы куба должны иметь понятные (и осмысленные) названия на русском языке;• В отчете привести скриншот представления источника данных, скриншот каждого измерения;• Разработка не менее трёх полезных (в рассматриваемой предметной области) запросов MDX;• Построение сводной диаграммы в Excel на основе куба;• Разработка информационной панели в Qlik sense, содержащей график, таблицу и спидометр.Дополнительные условия блока:• В одном из измерений реализовать несколько иерархий;• Информационная панель должна содержать не менее 5 различных элементов визуализации;• Опишите, каким образом разработанная сводная диаграмма и информационная панель могут быть использованы аналитиками.