- •Задачі систем підтримки прийняття рішень.
- •Узагальнена архітектура системи підтримки прийняття рішень.
- •Дванадцять правил е.Кодда для реляційних бд.
- •Поняття oltp системи.
- •Неефективність використання oltp систем для аналізу даних: степінь деталізації даних, що зберігаються.
- •Неефективність використання oltp систем для аналізу даних: якість даних.
- •Неефективність використання oltp систем для аналізу даних: формат збереження даних.
- •Неефективність використання oltp систем для аналізу даних: кількість даних, які зберігаються.
- •Неефективність використання oltp систем для аналізу даних: характер запитів до даних.
- •Неефективність використання oltp систем для аналізу даних: час обробки звертань до даних.
- •Неефективність використання oltp систем для аналізу даних: необхідність надлишковості даних.
- •Неефективність використання oltp систем для аналізу даних: управління даними.
- •Неефективність використання oltp систем для аналізу даних: характер обчислювального навантаження на систему.
- •14.Неефективність використання oltp систем для аналізу даних: пріоритетність характеристик системи.
- •Концепція сховища даних.
- •Властивості сховища даних: предметна орієнтація.
- •Властивості сховища даних: інтеграція.
- •Властивості сховища даних: підтримка хронології.
- •Властивості сховища даних:незмінність.
- •Сппр з фізичним сд. Переваги і недоліки.
- •Сппр з віртуальним сд. Переваги і недоліки.
- •Поняття вітрини даних (вд).
- •Структура сппр з самостійними вд.
- •Структура сппр з сд і вд.
- •Категорії даних в сд.
- •Структура etl процесу і його етапи.
- •Очистка даних. Основні проблеми.
Поняття вітрини даних (вд).
Снижения затрат на создание ХД можно добиться, создавая его упрощенный вариант — витрину данных (Data Mart).
Витрина данных (ВД) — это упрощенный вариант ХД, содержащий только тематически объединенные данные.
ВД максимально приближена к конечному пользователю и содержит данные, тематически ориентированные на него (например, ВД для работников отдела маркетинга может содержать данные, необходимые для маркетингового анализа). ВД существенно меньше по объему, чем ХД, и для ее реализации не требуется больших затрат. Они могут быть реализованы как самостоятельно, так и вместе с ХД.
Структура сппр з самостійними вд.
Самостоятельные ВД (рис. 2.3) часто появляются в организации исторически и встречаются в крупных организациях с большим количеством независимых подразделений, решающих собственные аналитические задачи.
Достоинствами такого подхода являются:
П проектирование ВД для ответов на определенный круг вопросов;
быстрое внедрение автономных ВД и получение отдачи;
у
прощение
процедур заполнения ВД и повышение их
производительности за счет учета
потребностей определенного круга
пользователей.
Недостатками автономных ВД являются:
многократное хранение данных в разных ВД, что приводит к увеличению расходов на их хранение и потенциальным проблемам, связанным с необходимостью поддержания непротиворечивости данных;
отсутствие консолидированности данных на уровне предметной области, а следовательно — отсутствие единой картины.
Структура сппр з сд і вд.
В последнее время все более популярной становится идея совместить ХД и ВД в одной системе. В этом случае ХД используется в качестве единственного источника интегрированных данных для всех ВД (рис. 2.4).
ХД представляет собой единый централизованный источник информации для всей предметной области, а ВД являются подмножествами данных из хранилища, организованными для представления информации по тематическим разделам данной области. Конечные пользователи имеют возможность доступа к детальным данным хранилища, если данных в витрине недостаточно, а также для получения более полной информационной картины.
Достоинствами такого подхода являются:
П простота создания и наполнения ВД, поскольку наполнение происходит из единого стандартизованного надежного источника очищенных данных — изХД;
простота расширения СППР за счет добавления новых ВД;
П снижение нагрузки на основное ХД.
К недостаткам относятся:
избыточность (данные хранятся как в ХД, так и в ВД);
Дополнительные затраты на разработку СППР с ХД и ВД.
Категорії даних в сд.
Все данные в ХД делятся на три основные категории (рис. 2.5):
детальные данные;
- агрегированные данные;
метаданны
Детальными являются данные, переносимые непосредственно из ОИД Они соответствуют элементарным событиям, фиксируемым ОЬТР-системами (например, продажи, эксперименты и др.). Принято разделять все данные на измерения и факты. Измерениями называются наборы данных, необходимые для описания событий (например, города, товары, люди и т, п.). Фактами называются данные, отражающие сущность события (например, количество нроданного товара, результаты экспериментов и т. п.). Фактические данные могут быть представлены в виде числовых или категориальных значений.
В процессе эксплуатации ХД необходимость в ряде детальных данных может снизиться. Ненужные детальные данные могут храниться в архивах в сжатом виде на более емких накопителях с более медленным доступом (например, на магнитных лентах). Данные в архиве остаются доступными для обработки и анализа. Регулярно используемые для анализа данные должны храниться на накопителях с быстрым доступом (например, на жестких дисках).
На основании детальных данных могут быть получены агрегированные (обобщенные) данные. Агрегирование происходит путем суммирования числовых фактических данных по определенным измерениям. В зависимости от возможности агрегировать данные они подразделяются на следующие типы:
аддитивные — числовые фактические данные, которые могут быть просуммированы по всем измерениям;
П полуаддиттные— числовые фактические данные, которые могут быть просуммированы только по определенным измерениям;
П неаддитивные — фактические данные, которые не могут быть просуммированы ни по одному измерению.
Большинство пользователей СППР работают не с детальными, а с агрегированными данными. Архитектура ХД должна предоставлять быстрый и удобный способ получать интересующую пользователя информацию. Для этого необходимо часть агрегированных данных хранить в ХД, а не вычислять их при выполнении аналитических запросов. Очевидно, что это ведет к избыточности информации и увеличению размеров ХД. Поэтому при проектировании таких систем важно добиться оптимального соотношения между вычисляемыми и хранящимися агрегированными данными. Те данные, к которым редко обращаются пользователи, могут вычисляться в процессе выполнения аналитических запросов. Данные, которые требуются более часто, должны храниться в ХД.
Для удобства работы с ХД необходима информация о содержащихся в нем данных Такая информация называется метаданными (данные о данных). Согласно концепции Дж. Захмана, метаданные должны отвечать на следующие вопросы — что, кто, где, как, когда и почему:
что (описание объектов) — метаданные описывают объекты предметной области, информация о которых хранится в ХД. Такое описание включает: атрибуты объектов, их возможные значения, соответствующие поля в информационных структурах ХД источники информации об объектах и т. п.;
кто (описание пользователей) — метаданные описывают категории пользователей, использующих данные. Они описывают права доступа к данным, а также включают в себя сведения о пользователях, выполнявших над данными различные операции (ввод, редактирование, загрузку, извлечение и т. п.);
где (описание места хранения) — метаданные описывают местоположение серверов, рабочих станций, ОИД, размещенные на них программные средства и распределение между ними данных;
как (описание действий) — метаданные описывают действия, выполняемые над данными. Описываемые действия могли выполняться как в процессе переноса из ОИД (например, исправление ошибок, расщепление полей и т. п.), так и в процессе их эксплуатации в ХД;
когда (описание времени)— метаданные описывают время выполнения разных операций над данными (например, загрузка, агрегирование, архивирование, извлечение и т. п.);
почему (описание причин) — метаданные описывают причины, повлекшие выполнение над данными тех или иных операций. Такими причинами могут быть требования пользователей, статистика обращений к данным и т. п.
Так как метаданные играют важную роль в процессе работы с ХД, то к ним должен быть обеспечен удобный доступ. Для этого они сохраняются в репозитории метаданных с удобным для пользователя интерфейсом.
