- •Раздел 1. Накопление и обработка данных .…………………………… 5
- •Раздел 2. Оперативный анализ данных ….…………………………… 43
- •Раздел 3. Интеллектуальный анализ данных ………………………… 82
- •Раздел 4 Загрузка данных и программирование запросов ...………… 110
- •Раздел 5. Подготовка отчетов по результатам анализа …….……… 136
- •Раздел 1. Накопление и обработка данных Лекция 1. Информационно-аналитические системы
- •Операционная обработка данных
- •Оперативный анализ данных
- •Интеллектуальный анализ данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 2. Концепции хранения данных
- •Реляционные базы данных
- •Организация хранилищ данных
- •Концепция многомерной модели данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 3. Интеграция и трансформации данных
- •Платформа sql Server 2008
- •Система Management Studio
- •Служба sql Server Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 3. Интеллектуальный анализ данных Лекция 8. Кластерный анализ данных
- •Формальная постановка задачи кластеризации
- •Меры близости в кластерном анализе
- •Иерархические алгоритмы кластеризации
- •Неиерархические алгоритмы кластеризации
- •Представление результатов кластеризации
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 9. Классификация и регрессия
- •Математические функции
- •Правила классификации
- •Деревья решений
- •Методы построения деревьев решений
- •Алгоритмы построения деревьев решений
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 10. Поиск ассоциативных правил
- •Цель лекции – изучение формализованной постановки и алгоритма решения задачи поиска ассоциативных правил.
- •Формальная постановка задачи
- •Обнаружение закономерностей в последовательностях данных
- •Алгоритм поиска ассоциативных правил Apriori
- •Представление результатов
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 8. Службы sql Server Analysis Services
- •Конструктор интеллектуального анализа данных
- •Мастер интеллектуального анализа данных
- •Создание структуры интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Создание и представление источника данных
- •Загрузка с применением Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 12. Основы языка Multidimensional Expressions
- •Оператор select
- •Алгебра множеств и операции с множествами
- •Функции языка mdx
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 13. Язык операций Data Mining
- •Ключевые концепции и объекты dmx
- •Синтаксис запросов dmx
- •Создание моделей интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 5. Подготовка отчёта по итогам анализа Лекция 14. Служба отчетов Reporting Services
- •Архитектура службы отчётов
- •Средства проектирования запросов
- •Развёртывание Reporting Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 15. Источники данных для отчётов
- •Общие источники данных
- •Источники поддерживаемые Reporting Services
- •Создание, изменение и удаление источников
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 16. Конструирование и создание отчётов
- •Основы конструирования отчётов
- •Создание нерегламентированных отчётов
- •Создание отчётов с применением конструктора
- •Краткие итоги
- •Литература
- •Глоссарий
- •Контрольные вопросы
Краткие итоги
Архитектура описания данных включает три уровня абстракции: внешний, внутренний и концептуальный.
Концептуальный уровень описания данных обеспечивает представление данных в абстрактной форме и включает логическое описание элементов данных, отношений между ними и логическую структуру БД. Любые доступные пользователю даны должны содержаться на данном уровне.
Хранилище данных представляет собой предметно-ориентированное, интегрированное, связанное со временем и неизменное во времени собрание данных. Основными составляющими структуры являются таблицы измерений и фактов.
Концептуальная многомерная модель данных реализуется на основе представления данных в виде многомерного пространства, размерность которого определяется количеством измерений.
Компанией Microsoft предложена концепция универсальной многомерной модели данных UDM. Эта концепция позволяет различным приложениям получить доступ к данным реляционных и многомерных БД.
Контрольные вопросы
1. Размерность многомерного пространства данных для анализа математически определяется:
а) сложением размеров всех измерений в модели данных;
б) количеством атрибутов в реляционной таблице фактов;
в) количеством таблиц содержащих измерения;
г) перемножением размеров всех измерений в модели данных.
2. Размер или кардинальность измерения определяется:
а) количеством атрибутов и свойств в измерении;
б) количеством значений ключа в таблице измерения;
в) количеством элементов в измерении;
г) количеством записей в таблице измерений;
3. Роль унифицированной многомерной модели заключается:
а) в создании концептуальной модели хранилища данных;
б) в определении функциональной зависимости между данными;
в) в определении реляционных отношений между сущностями;
г) в создании моста между пользователем и источниками данных.
4. Схема реляционного хранилища данных носит название «снежинка», если:
а) хранилище данных содержит несколько таблиц с фактами;
б) одно из измерений хранилища данных содержится в нескольких связанных таблицах;
в) каждое измерение хранилища данных содержится в одной таблице;
г) каждое измерение хранилища данных содержится в нескольких связанных таблицах.
5. Многомерная модель данных определяет представление данных на уровне:
а) концептуальной модели и прикладной модели;
б) концептуальной модели и физической модели;
в) физической модели и прикладной модели;
г) концептуальной, физической и прикладной моделей.
Литература
1. Малыхина М.П. Базы данных: основы, проектирование, использование. – Спб.: БХВ-Петербург, 2004. – 512 с.
2. Бергер А.Б. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных / Бергер А.Б, Горбач И.В., Меломед Э.Л, Щербинин В.А., Степаненко В.П. / Под общ. Ред. А.Б. Бергера, И.В. Горбач. – СПб.: БХВ-Петербург, 2007. – 928 с.
3. Барсегян А.А. Методы и модели анализа данных: OLAP и Data Mining / Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. – СПб.: БХВ-Петербург, 2004. – 336 с.
Лекция 3. Интеграция и трансформации данных
В лекции рассматривается платформа SQL Server 2008 для построения систем оперативного и интеллектуального анализа данных. Обсуждаются принципы функционирования средств администрирования и управления, сервисов извлечения, преобразования и загрузки данных
Цель лекции – изучение учащимися инструментальных средств, необходимых для построения хранилищ и витрин данных, подключения к источникам данных и создания запросов служб анализа.
Платформа SQL Server 2008 является десятой версией программного продукта Microsoft SQL Server. Первая версия этого продукта появилась в 1987 году. Первая версия продукта, разработанная полностью фирмой Microsoft, появилась од названием SQL Server 6.0. В 1996 году фирма выпустила версию SQL Server 6.5. Существенно модифицированная версия SQL Server 7.0 была представлена фирмой в 1998 году. Эта версия содержит существенные изменения в технологии хранения данных. В составе SQL Server 7.0 имелась утилита OLAP Services. Следующая версия SQL Server 2000 не несёт таких существенных изменений и отражает процесс дальнейшего совершенствования на базе SQL Server 7.0. Версии SQL Server 2005, SQL Server 2008 являются девятой и десятой версией SQL Server, представляющие собой завершённую и устойчивую платформу с расширенным набором средств оперативного и интеллектуального анализа данных [1,2].
