4. Оlap-технология
4.1. Основные понятия
4.1.1. Хранилище данных
Хранилище данных (определение Билла Инмона (Bill Inmon) — предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенный для поддержки принятия решений. Базовые требования к хранилищу данных:
1. Ориентация на предметную область. Хранилище должно разрабатываться с учетом специфики предметной области (клиенты, товары, продажи), а не прикладных областей деятельности (выписка счетов, контроль запасов, продажа товаров).
2. Интегрированность и внутренняя непротиворечивость. Поскольку данные в хранилище поступают из разных источников (OLTP-системы, архивы и пр.), необходимо привести их к единому формату (дата: 5 января, 5.01,:). В процессе загрузки хранилища должна быть обеспечена, очистка и согласованность данных.
3. Привязка ко времени. Учет хронологии достигается введением атрибутов "Дата" и "Время". Упорядочение по этим атрибутам позволяет сократить время выполнения аналитических запросов.
4. Неизменяемость. Данные не обновляются в оперативном режиме, а лишь регулярно пополняются из систем оперативной обработки по заданной дисциплине.
5. Поддержка высокой скорости получения данных из хранилища.
6. Возможность получения и сравнения так называемых срезов данных (slice and dice);
Полнота и достоверность хранимых данных;
Поддержка качественного процесса пополнения данных.
Понятие хранение данных (или хранение информации) предложено и разработано для обеспечения решения проблемы эффективного доступа к данным. Целью хранилища данных является установление такого репозитория данных, который делает оперативные данные доступными для их комплексного анализа. Хранилище данных объединяет различные источники данных в простые источники для доступа конечного пользователя.
Перед размещением в хранилище данные, поступающие из внутренних (связанных) и внешних источников извлекаются, очищаются, фильтруются и суммируются посредством специального программного обеспечения. Далее данные снова обрабатываются и помещаются в дополнительную специальную многомерную БД, организованную для легкого многомерного представления.
Исходные данные для построения хранилищ данных обычно хранятся в реляционных базах данных. В отличие от так называемых оперативных баз данных, с которыми работают приложения, модифицирующие данные, хранилища данных предназначены исключительно для обработки и анализа информации, поэтому проектируются они таким образом, чтобы время выполнения запросов к ним было минимальным. Обычно данные копируются в хранилище из оперативных БД согласно определенному расписанию.
Подобное хранение данных наиболее подходит для организаций, где данные хранятся в различных системах; используется информационно – аналитический подход к менеджменту; имеется большая и разнообразная база данных; одни и те же данные представлены по-разному в различных системах; данные хранятся в высокотехнических, трудных для расшифровки форматах.
4.1.2. Применение информационных хранилищ. Извлечение знаний из данных
Поддержка принятия управленческих решений на основе накопленных данных может выполняться в трех базовых сферах (рис. 4.1).
Сфера детализированных данных. Это область действия большинства систем, нацеленных на поиск информации. В большинстве случаев реляционные СУБД отлично справляются с возникающими здесь задачами. Общепризнанным стандартом языка манипулирования реляционными данными является SQL. Информационно – поисковые системы, обеспечивающие интерфейс конечного пользователя в задачах поиска детализированной информации, могут использоваться в качестве надстроек как над отдельными базами данных транзакционных систем, так и над общим хранилищем данных.
Сфера агрегированных показателей. Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация и многомерный анализ являются задачами систем OLAP. Здесь можно или ориентироваться на специальные многомерные СУБД, или оставаться в рамках реляционных технологий. Во втором случае заранее агрегированные данные могут собираться в БД звездообразного вида, либо агрегация информации может производится в процессе сканирования детализированных таблиц реляционной БД.
Сфера закономерностей. Интеллектуальная обработка производится методами интеллектуального анализа данных (ИАД) главными задачами которых являются поиск функциональных и логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие некоторых процессов.
И
АД
является кратким обозначением достаточно
широкого спектра процедур анализа
данных и извлечения из них скрытых
закономерностей поведения классов
объектов проблемных областей, что
существенно его отличает от других
технологий (рис. 4.2).
Методы ИАД тесно связаны с технологиями OLAP и технологиями построения хранилищ данных. Поэтому наилучшим вариантом является комплексный подход к их внедрению.