Понятие Хранилище данных: определение, структура, свойства, методы создания и использования. Основные требования к данным в хранилище.
Билл Инмон сформул концепцию хранилища
ХД- предметно-ориентированные, интегрированные, неизменные, поддерживающие хронологию(привязанные ко времени) наборы данных для поддержки процесса принятия УР.
ХД-собирает данные из существующих систем и внеш источников, формирует, хранит, эксплуатирует информацию.
ХД явл-ся источником инфы для средств аналит.обработки данных. ХД –центр OLAP. Основное предназначение — предоставление точной информации в кратчайшие сроки и с минимумом затрат. Структура ХД – множество многомерных кубов. Простейш – 3х мерная сводная табл(строки, столбцы, стр), 4х +книги
ХД реализует свои ф-ции через подмножество зависимых витрин данных –подмножество ХД, обеспеч-щее необх.произв-ть и защиту данных.
В ХД 3 категории данных: метаданные (сведения об источнике, методах сбора инфы), детальные, агрегированные (сводные).
Св-ва данных для исп в хранилище:
Предметное ориентирование (данные собираются из разл источников, очищаются в завис-ти от цели, согласов-ся, агрегируются(проведение групп операций: сумма, среднее, min, max, кол-во), представл-ся в единой форме)
Интегрированность (все данные о разных бизнес-объектах взаимно согласованы и хранятся в едином общекорпорат. хранилище)
Неизменчивость(после того как исходные даны были согласованы, сверены и внесены в хранилище, они остаются неизменными).
Поддержка хронологии (данные хронологически структурны и отражают историю за достаточный для выполнения задач бизнес-анализа и прогнозирования период времени)
Для преобразования данных из хранилища в предметно-ориент. форму исп-ся SQL-запросы, многомерн просмотр данных посредством гипертекстовых структур.
Рез-ом обработки и анализа данных из хранилища явл получ-ие объекта нового качества – знания.
Основные требования к хранилищам данных:
поддержка высокой скорости получения данных из хранилища;
поддержка внутренней непротиворечивости данных;
возможность получения и сравнения так называемых срезов данных (slice and dice);
наличие удобных утилит просмотра данных в хранилище;
полнота и достоверность хранимых данных;
поддержка качественного процесса пополнения данных
Основные понятия моделирования и классификация моделей по форме представления. Свойства моделей. Принципы моделирования.
Модель (лат. modulus – мера) – упрощенный объект − заместитель объекта-оригинала (реального объекта), обеспечивающий изучение некоторых свойств оригинала
Моделирование – это замещение одного объекта другим с целью получения информации о важнейших свойствах объекта-оригинала с помощью объекта-модели путем проведения эксперимента с моделью.
Основные свойства модели:
Адекватность – степень соответствия модели исследуемому реальному объекту. Она никогда не может быть полной. На практике модель считают адекватной, если она с удовлетворительной точностью позволяет достичь целей исследования.
Сложность – количественная характеристика свойств объекта, описывающих модель. Чем она выше, тем сложнее модель. Однако на практике надо стремиться к наиболее простой модели, позволяющую достичь требуемые результаты изучения.
Потенциальность – способность модели дать новые знания об исследуемом объекте, спрогнозировать его поведений.
Принципы мод-я:
Информационная достаточность – это некоторый уровень информации, при которой возможно построить модель (при полном отсутствии информации об объекте, построение модели невозможно)
Осуществимость – модель должна обеспечивать достижение поставленной цели исследования объекта
Множественность – для полного исследования объекта необходим ряд моделей
Системность – любой объект можно представить в виде системы взаимодействующих и взаимосвязанных элементов
Знаковая модель – информационная модель, выраженная специальными знаками, т. е. средствами любого формального языка.
Вербальная модель – информационная модель в мысленной или разговорной форме.
Математическое мод-е – процесс установления соответствия реальному объекту некого математического объекта, отражающего цели моделирования.
-стохастическая модель – воспроизводит вероятностные процессы (регрессия, корреляция)
-имитационная – компьютерная, связанная с ПО, позволяет установить взаимосвязи между матем. описанием объекта и логическим выводом.
-детерминир. – отражает причинно-следств. Связи между объектами и процессами (дискретная – в отд. промежутки времени, непрер. – в любой момент)
Информационная модель – целенаправленное отбражение инф-и обобъекте, которая отражает наиболее существенные свойства объекта. (идентификаторы об-в, объемные временные и др. хар-ки, инф. потоки между разл. объектами, послед-ть процедур обр-ки потоков данных)
Цель инф. мод-я – отражение в наилучшей форме процесса формирования и движения упр. документов, потоков внеш. и внутр. инф-и на машинных носителях.
Диаграммы потоков данных (ДПД, DFD) – созд. для адекватного отражения инф. потоков, составляющих содержание экон. процессов. Для их построения используется всего четыре элемента: объекты, потоки данных, процессы и накопители данных.
Объекты – это источники и преемники данных (информационных сообщений: заказчики, поставщики, персонал, склад, цех, бухгалтерия и т.д.). Обозначаются они в виде квадрата или прямоугольника, левая сторона которого имеет утолщение. Прямоугольники, обозначающие одинаковые объекты, имеют перечеркнутый правый нижний угол. Поток данных изображается стрелкой (горизонтальной или вертикальной). Направление стрелки указывает направление потока. Если поток идет в двух направлениях, то используется двойная стрелка. Поток данных всегда должен быть идентифицирован, т.е. иметь надпись, отражающую его содержание. Процессы воспроизводятся в виде прямоугольника с закругленными углами, в котором указываются: идентификатор процесса, его имя и место реализации. В нижнем секторе указывается исполнитель данного процесса. Накопители данных – это центры возникновения и хранения данных, каждый из которых идентифицируется буквой D. Если процесс сохраняет данные, то стрелка потока данных направлена от процесса к накопителю, а если считывает данные, то из накопителя к процессу.
Граф – множество точек, над которыми задано отношение. Отношения могут задаваться графически с помощью связывающих точки линий или матриц смежности. Точки называют узлами или вершинами, а линии – дугами. Дуги могут быть ориентированными, или нет.
В информационных графовых моделях, как правило, используются ориентированные дуги (стрелки), отражающие либо направление расчетов, либо направление движения информационного потока, либо исходную и результирующую информацию.
Одним из вариантов информационной модели, наглядно отображающей взаимосвязь между входной и результирующей информацией, служит схема, в верхней части которой находятся входные документы, а в нижней – результирующие. Стрелки указывают направление информационных потоков.