Тема 7. Оперативная аналитическая обработка данных.

(ONLINE ANALYTICAL PROCESSING — OLAP)

План лекции:

1. Кратко что такое OLAP

2. Три уровня информационных систем

3. Представление данных

4. Многомерное (кубическое) представление данных

5. Многомерная таблица «объект – свойство - время»

6. Понятие измерения: типы шкал, факты и параметры, иерархия измерений

7. Гиперкуб и поликуб

8. Определение OLAP-систем. Требования Э.Ф.КОДДА

9. Основные OLAP-операции

10. Выводы. MOLAP, ROLAP, HOLAP, объектно-ориентированный подход и OLAP.

Понятие OLAP система

OLAP — подход к аналитической обработке данных в реальном времени, базирующийся на их многомерном иерархическом представлении.

Три уровня информационных систем

Одним из этапов создания экспертной системы является сбор данным в некоторой предметной области для обучения системы.

Поддержка принятия решений на основе накопленных данных может выполняться на трех базовых уровнях

1. Уровень детализированных данных. Это область деятельности большинства систем, на первичный ввод и поиск информации. (On-Lіne Transactіon Processіng – OLTP- обработка транзакций в реальном времени). OLTP-системы предназначены для ввода, структурированного хранения и обработки информации (операций, документов) в режиме реального времени.

Информационно-поисковые системы, обеспечивающие интерфейс конечного пользователя в задачах поиска детализированной информации, могут использоваться как надстройка и над отдельными базами данных транзакционных систем и над общим хранилищем данных.

2. Уровень агрегированных данных. Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация, поли-и гиперкубическое представления и многомерный анализ являются задачами систем оперативной аналитической обработки данных (On-Lіne Analytіcal Processіng - OLAP).

3. Уровень закономерностей. Обработка информации производится методами интеллектуального анализа данных (ІАД, Data Mіnіng), главными задачами которых являются поиск функциональных и логических закономерностей в накопленных как детализированных, так и агрегированных данных, построение моделей и правил, обеспечивающих планирование и прогнозирование развития некоторых процессов и / или объясняют найденные аномалии.

Такое разделение информационных систем достаточно условный, но оно позволяет достаточно наглядно показать различие целей и макроцилей систем различных уровней.

Понятия:

Транзакция — минимальная логически осмысленная операция, которая имеет смысл и может быть совершена только полностью.

Транзакция (информатика) — группа логически объединённых последовательных операций по работе с данными, обрабатываемая или отменяемая целиком. (пример транзакции – перевод денег с счета на счет)

Агрегация - процесс объединения элементов в одну систему. Один из способов ассоциации объектов друг с другом.

Модели представления данных:

• Реляционная, в которой объекты и взаимосвязи между ними представляются с помощью таблиц. Каждая таблица представляет один объект и состоит из строк и столбцов.

• Иерархическая, которая строится по принципу иерархии типов объектов, то есть один тип объекта является главным, а остальные находятся на низших уровнях иерархии - подчиненными.

- Сетевая, в которой понятие главного и подчиненного объектов несколько расширены. Любой объект может быть главным и подчиненным.

Многомерное (кубическое) представление данных

Основой современной отрасли баз данных является реляционная модель данных, которая была предложена Э.Ф. Коддом в 1970 году, и за которую через десятилетие он получил премию Тьюринга (Премия Тьюринга (англ. Turing Award) — самая престижная премия в информатике, вручаемая Ассоциацией вычислительной техники за выдающийся научно-технический вклад в этой области. В сфере информационных технологий премия Тьюринга имеет статус, аналогичный Нобелевской премии в академических науках. В настоящее время премия спонсируется корпорациями Intel и Google и составляет 250 000 долларов США ).

За последние 10 лет сложилась другая – многомерная модель данных, которая используется, когда целью является анализ данных, а не выполнение транзакций.

Технология многомерных баз данных

Электронные таблицы не подходят для управления и хранения многомерных данных, поскольку они слишком жестко связывают данные с их внешним видом, не отделяя структурную информацию от желаемого представления информации. Скажем, добавление третьего измерения, такого как время, или группировка данных по обобщенным типам продуктов требует значительно более сложного настройки. Очевидное решение состоит в использовании отдельной электронной таблицы для каждого измерения. Но такое решение оправдано только в ограниченной степени, поскольку анализ подобных наборов таблиц быстро становится слишком громоздким.

Многомерная таблица «объект - свойство - время»

Многомерные модели рассматривают данные либо как факты с соответствующими численными параметрами, либо как текстовые измерения, которые характеризуют эти факты.

В розничной торговле, например, покупка - это факт, объем покупки и стоимость - параметры, а тип приобретенного продукта, время и место покупки - измерения. Запросы агрегируют значения параметров по всему диапазону измерения, и в итоге получают такие величины, как общий месячный объем продаж данного продукта.

М ногомерные базы данных рассматривают данные как кубы, которые являются обобщением электронных таблиц на любое число измерений. Кроме того, кубы поддерживают иерархию измерений и формул без дублирования их определений. Набор соответствующих кубов составляет многомерную базу данных (или хранилище данных).

Кубами легко управлять, добавляя новые значения измерений. Обычно этим термином обозначают фигуру с тремя измерениями, однако теоретически куб может иметь любое число измерений. На практике чаще кубы данных имеют от 4 до 12 измерений. Современный инструментарий часто сталкивается с нехваткой производительности, когда так называемый гиперкуб имеет более 10-15 измерений.

На рис. 1 показан куб, содержащий данные по продажам в двух датских городах, с дополнительным измерением - «Время». В соответствующих ячейках хранятся данные об объеме продаж. В примере можно обнаружить «факт» - пустая ячейка, содержащий соответствующие числовые параметры - для каждой комбинации время, продукт и город, где была сделана по крайней мере одна продажа. В ячейке размещаются числовые значения, связанные с фактом - в этом случае, это объем продаж - единственный параметр.