- •Хранилища данных
- •Содержание
- •Введение
- •Гипотеза — модель — решение.
- •Эволюция корпоративных информационных систем
- •Что такое olap
- •Общие свойства хранилищ
- •Ориентированность на предметную область
- •Интегрированность
- •Зависимость от времени
- •Постоянство
- •Данные хранилища
- •Источники данных
- •Хранилище данных (в узком смысле)
- •Оперативный склад данных (Operational Data Store - ods)
- •Витрины данных (Data mart)
- •Метаданные
- •С точки зрения пользователей:
- •С точки зрения предметных областей:
- •С точки зрения функциональности системы:
- •Компоненты хранилища
- •Подсистема загрузки данных
- •Подсистема обработки запросов и представления данных
- •Подсистема администрирования хранилища
- •Методика (методология) построения хранилищ данных
- •Постановка задачи Системно-аналитическое обследование
- •Техническое задание
- •Проектирование
- •Автоматизируемые процессы и функции
- •Информационное обеспечение
- •Компонентная архитектура
- •Техническая архитектура
- •Реализация
- •Внедрение
- •Выбор метода реализации Хранилищ данных
- •Продукция Microsoft
- •Продукция Sybase
- •Продукция Oracle
- •Oracle bi Suite ee - самая «интеллектуальная» из аналитических платформ
- •Архитектура
- •Клиентские приложения
- •Метаданные
- •Выбор продукта
- •Многомерные кубы
- •Некоторые термины и понятия
- •Типичная структура хранилищ данных
- •Olap на клиенте и на сервере
- •Технические аспекты многомерного хранения данных
- •Условные сокращения и обозначения
- •Словарь
- •Список использованных источников
Гипотеза — модель — решение.
Гипотеза — это открытие, которое является новым положением, осуществляется на основе интуиции (из глубин человеческого подсознания, сформированного на основе личного опыта).
По гипотезе строится модель — формальное математическое описание — и находится решение. Полученное решение проверяется в эксперименте (отвергается или принимается). В результате получается знание, которым можно руководствоваться в практике.
Проблемы (в бизнесе):
динамичное изменение экономической ситуации, что мешает применять накопленный опыт, не успевает вырабатываться интуиция.
в условиях свободного рынка нет возможности проводить целенаправленные эксперименты.
В настоящее время актуальна разработка и использование комплексного ПО, реализующего задачи 1, 2 и 3-го классов. Сейчас стремительно развиваются OLAP- технологии.
Сейчас более 100 крупных производителей программ включились в конкуренцию.
OLAP — это инструменты оперативного анализа данных, содержащихся в хранилище, которые предназначены для общения аналитика с проблемой, а не с компьютером.
Эволюция корпоративных информационных систем
Развитие предприятий происходило без стратегического плана, снизу вверх по мере осознания необходимости автоматизации того или иного участка производства.
Условия для автоматизации — появление:
информационных технологий
аппаратно-программных средств
людских ресурсов
бюджетных средств.
В большинстве компаний имеются информационные системы (ИС) на базе СУБД и обслуживают повседневную деятельность отделов компании.
Такие ИС получили название транзакционных или OLТP (On-Line Transactions Processing).
Накопление больших объемов данных в последнее время сделали актуальными прикладные задачи, предназначенные для извлечения, сбора и представления конечному пользователю информации, необходимой для анализа текущего состояния дел и прогноза будущего решения. Такие ИС получили название систем поддержки принятия решений. Исторически первыми такими системами стали ИС руководителя (EIS — Executive Information Systems).
Существует два подхода к интеграции корпоративной информации:
децентрализованное объединение источников (схема спагетти) (рис.1а)
централизованное объединение источников (рис.1б)
(рис.1а) (рис.1б)
Второй подход стимулировал появление технологии хранилищ данных, позволяющей извлекать, преобразовывать и представлять информацию из общей кучи данных.
Хранилища данных (Datawarehouse) и оперативный анализ данных (On-LineAnalyticalProcessing, OLAP) – новые информационные технологии, которые обеспечивают аналитикам, управленцам и руководителям высшего звена возможность изучать большие объемы взаимосвязанных данных при помощи быстрого интерактивного отображения информации на разных уровнях детализации с различных точек зрения в соответствии с представлениями пользователя о предметном пространстве.
Основная цель хранилищ — создание единого логического представления данных, содержащихся в разнотипных БД или в единой модели корпоративных данных.
Другими словами:
Хранилище данных создается с целью:
Интеграции в одном месте, согласования и, возможно, агрегации ранее разъединенных детализированных данных:
Исторических архивов
Данных из оперативных систем
Данных из внешних источников
Разделения наборов данных, используемых для оперативной обработки, и наборов данных, используемых для решения задач поддержки принятия решений.
Обеспечения всесторонней информационной поддержки максимальному кругу пользователей.
Еще лет пять назад мало, кто слышал об этих технологиях. Сегодня хранилища данных и OLAP становятся неотъемлемой частью современных корпоративных систем поддержки принятия решений. Это одно из наиболее динамично развивающихся направлений индустрии создания программного обеспечения.
Концепция информационных хранилищ, зародилась в 80-х годах в недрах IBM. Идея хранилищ данных обязана своим развитием многим людям. Хотя эту идею предвосхищали в своих работах многие исследователи, можно смело утверждать, что первой публикацией, посвященной именно хранилищам данных, была статья Девлина (Devlin) и Мэрфи(Murphy) , вышедшая в 1988 году. В 1992 году Уильям Г.Инмон(William H. Inmon), который был техническим директором компании Prism и написал монументальную монографию «Building the Data Warehouse» («Построение хранилищ данных»), в которой дал определение хранилища данных:
Опр.: Хранилище данных — это предметно-ориентированная, интегрированная, вариантная по времени, не разрушаемая совокупность данных, предназначенная для поддержки принятия управленческих решений.
Имеются 2 определения хранилищ данных:
В узком смысле: по Инмону.
В широком:
Хранилище данных — ориентированная на поддержку управленческих решений автоматизированная система, состоящая из организационной структуры, технических средств, базы или совокупности базы данных (БД) и ПО, которое выполняет, как правило, следующие функции:
извлечение данных из разрозненных источников, их трансформация и загрузка в хранилище;
администрирование данных и хранилища;
извлечение данных из хранилища, аналитическая обработка и представление данных конечным пользователям.
Ральф Кимбалл (Ralph Kimball), один из авторов концепции хранилищ данных, описывал хранилище данных как «место, где люди могут получить доступ к своим данным» (см., например, Ralph Kimball, «The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses», John Wiley & Sons, 1996 и «The Data Webhouse Toolkit: Building the Web-Enabled Data Warehouse», John Wiley & Sons, 2000). Он же сформулировал и основные требования к хранилищам данных:
поддержка высокой скорости получения данных из хранилища;
поддержка внутренней непротиворечивости данных;
возможность получения и сравнения так называемых срезов данных (slice and dice);
наличие удобных утилит просмотра данных в хранилище;
полнота и достоверность хранимых данных;
поддержка качественного процесса пополнения данных.
