ЗаданиеВ процессе выполнения домашнего задания необходимо решить несколько задач, относящихся к области проектирования хранилища данных:•   Подготовка и анализ исходных данных;•   Проектирование реляционного хранилища данных;•   Разработка ETL-процедур;•   Разработка OLAP-куба и информационных панелей.Задание выполняется в группе из 3 человек. Оцениваются следующие результаты работы:1.   отчет в формате docx;2.   каталог, содержащий созданные в процессе работы диаграммы, файлы, созданные прикладными программными средствами, сценарии и модели;3.   презентация в формате  видеообзора (не более 30 минут; каждый участник группы должен прокомментировать часть полученных результатов). Этап 1. Подготовка данныхОбязательное условие блока: •   Подготовьте два источника транзакционных данных, имеющих разные форматы (например, xlsx, csv). Можно найти один массив данных и сделать из него два;•   Минимальное количество справочников – три. Для одного из справочников необходимо предусмотреть возможность отслеживания изменений. Структура справочников не должна быть тривиальной (как минимум три не ключевых атрибута);•   Должна быть четко сформулирована цель, с которой производится интеграция выбранных данных;•   Разработайте требования к аналитической отчетности;•   Структура и состав найденных данных (вместе с источником, откуда они взяты) должны быть описаны в отчете. Дополнительные условия блока:•   Выберите такой массива данных, на котором можно проводить анализ не только транзакций, но и анализ снимков состояния (анализ изменения состояния); •   В отчете приведите пример других задач, которые могли бы быть решены на тех данных, которые вы нашли.Этап 2. Проектирование. Разработка структуры РХДОбязательные условия блока:•   Разработать и подробно описать в отчете структуру хранилища данных. Структура витрины данных - снежинка или звезда•   Наличие буферной области (staging area). Витрина данных в формате «звезда/снежинка»;•   Должна быть представлена схема архитектуры вашего ХД (можно представить в виде нескольких схем)o   Витрина данных должна содержать как минимум одну таблицу фактов;o   В хранилище должно содержаться как минимум две меры.•   Представить схему потоков данных, а именно: описать, каким образом данные из источников попадают в витрину;•    В отчете должно быть подробно описано, для чего служит каждый элемент архитектуры РХД;•   В отчете должно быть разъяснено, какой уровень гранулярности данных будет использован и почему (подсказка: объяснение должно следовать из раздела 1);•   Хранилище данных содержит в себе витрину данных, ориентированную на подготовку отчетности для решения задач, обозначенных во введении.Дополнительные условия блока:•   Хранилище данных содержит нормализованную часть, разработанную с помощью инструментов anchor modeling;•   Меры, используемые в проекте ХД должны быть описаны отдельно (аддитивность, причины включения в модель ХД)Этап 3. Загрузка и обработка данныхОбязательные условия блока:•   Описать в отчете порядок начальной и инкрементной загрузки данных (текстовые пояснения и диаграммы);•   Реализовать начальную загрузку данных (разработать пакет/процедуру загрузки в SSIS или любом другом средстве ETL). Реализовать обработку ошибок загрузки;•   Выполнить загрузку в хранилище;•   В отчете должны быть приведены скриншоты, иллюстрирующие каждый этап выполнения процедуры загрузки + скриншот успешного запуска пакета/процедуры.Дополнительные условия блока:•   Реализовать инкрементную загрузку данных. Для этого массив исходных данных следует разделить на два: для первой части произвести начальную загрузку, для второй – инкрементную. В результате повторной загрузки не должны возникать ошибки (скриншот успешного запуска следует добавить в отчет), факт загрузки должен быть сохранен в журнале (в виде таблицы). Этап 4. Разработка OLAP-куба и информационных панелейОбязательное условие блока:•   Создать OLAP-куб с использованием SSAS и заполнить его даннымиo   Куб должен содержать не менее трех измерений, одно из которых – дата. Необходимо описать каждое измерение и его назначение;o   Измерения должны содержать иерархии (можно обычные, можно parent-child);o   Отношения атрибутов должны быть настроены корректно.•   Все элементы куба должны иметь понятные (и осмысленные) названия на русском языке;•   В отчете привести скриншот представления источника данных, скриншот каждого измерения;•   Разработка не менее трёх полезных (в рассматриваемой предметной области) запросов MDX;•   Построение сводной диаграммы в Excel на основе куба;•   Разработка информационной панели в Qlik sense, содержащей график, таблицу и спидометр.Дополнительные условия блока:•   В одном из измерений реализовать несколько иерархий;•   Информационная панель должна содержать не менее 5 различных элементов визуализации;•   Опишите, каким образом разработанная сводная диаграмма и информационная панель могут быть использованы аналитиками.

Гость guest_15594719759386

Sql проектирование хд и olap куба