- •Раздел 1. Накопление и обработка данных .…………………………… 5
- •Раздел 2. Оперативный анализ данных ….…………………………… 43
- •Раздел 3. Интеллектуальный анализ данных ………………………… 82
- •Раздел 4 Загрузка данных и программирование запросов ...………… 110
- •Раздел 5. Подготовка отчетов по результатам анализа …….……… 136
- •Раздел 1. Накопление и обработка данных Лекция 1. Информационно-аналитические системы
- •Операционная обработка данных
- •Оперативный анализ данных
- •Интеллектуальный анализ данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 2. Концепции хранения данных
- •Реляционные базы данных
- •Организация хранилищ данных
- •Концепция многомерной модели данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 3. Интеграция и трансформации данных
- •Платформа sql Server 2008
- •Система Management Studio
- •Служба sql Server Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 3. Интеллектуальный анализ данных Лекция 8. Кластерный анализ данных
- •Формальная постановка задачи кластеризации
- •Меры близости в кластерном анализе
- •Иерархические алгоритмы кластеризации
- •Неиерархические алгоритмы кластеризации
- •Представление результатов кластеризации
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 9. Классификация и регрессия
- •Математические функции
- •Правила классификации
- •Деревья решений
- •Методы построения деревьев решений
- •Алгоритмы построения деревьев решений
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 10. Поиск ассоциативных правил
- •Цель лекции – изучение формализованной постановки и алгоритма решения задачи поиска ассоциативных правил.
- •Формальная постановка задачи
- •Обнаружение закономерностей в последовательностях данных
- •Алгоритм поиска ассоциативных правил Apriori
- •Представление результатов
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 8. Службы sql Server Analysis Services
- •Конструктор интеллектуального анализа данных
- •Мастер интеллектуального анализа данных
- •Создание структуры интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Создание и представление источника данных
- •Загрузка с применением Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 12. Основы языка Multidimensional Expressions
- •Оператор select
- •Алгебра множеств и операции с множествами
- •Функции языка mdx
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 13. Язык операций Data Mining
- •Ключевые концепции и объекты dmx
- •Синтаксис запросов dmx
- •Создание моделей интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 5. Подготовка отчёта по итогам анализа Лекция 14. Служба отчетов Reporting Services
- •Архитектура службы отчётов
- •Средства проектирования запросов
- •Развёртывание Reporting Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 15. Источники данных для отчётов
- •Общие источники данных
- •Источники поддерживаемые Reporting Services
- •Создание, изменение и удаление источников
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 16. Конструирование и создание отчётов
- •Основы конструирования отчётов
- •Создание нерегламентированных отчётов
- •Создание отчётов с применением конструктора
- •Краткие итоги
- •Литература
- •Глоссарий
- •Контрольные вопросы
Создание структуры интеллектуального анализа
Структура ИАД представляет собой столбцы данных, доступных решаемой задачи анализа, сведения о соединении с источниками данных, модели для анализа данных. Модель ИАД описывается подмножеством столбцов структуры. Создание структур и моделей ИАД аналогично созданию таблиц реляционной модели данных с использованием SQL [1]. Например, листинг создания структуры ИАД может иметь вид:
CREATE MINING STRUCTURE [Teacher]
{
[TeacherID] LONG KEY,
[LastName] TEXT DISCRETE,
[Name] TEXT DISCRETE,
[Age] LONG CONTINUOUS,
[Position] TEXT DISCRETE,
[Status] TEXT DISCRETE
}
Оператор CREATE создаёт структуру ИАД со столбцами TeacherID, LastName, Name, Age, Position, Status. В этой структуре столбец TeacherID (Табельный номер) является ключом, столбцы TeacherID, Age (Возраст) – длинными целыми, столбцы LastName (фамилия), Name (Имя), Position (должность), Status (Учёное звание) – строки (текст). Наиболее важной частью структуры является имя структуры и список столбцов [1]. Каждый столбец имеет имя, тип данных и содержимого. Типы данных и содержимого, поддерживаемые SQL Server Analysis Services, приведены в таблице 3.1.
Таблица 3.1. Типы данных и содержимого
-
Тип данных
Типы содержимого
LONG
KEY
DOUBLE
DISCRETE
TEXT
CONTINUOUS
DATE
DISCRETIZED
BOOLEAN
KEY TIME*
TABLE
KEY SEQUENCE**
Тип содержимого DISCRETIZED определяет дискретизацию непрерывных значений на диапазоны.
Краткие итоги
Конструктор интеллектуального анализ данных предназначен для создания, обучения, просмотра и сравнения моделей интеллектуального анализа данных, различающихся типом алгоритма, значениями параметров и столбцами, взятыми из структуры интеллектуального анализа.
Структура интеллектуального анализа данных содержит область представления источника данных и область столбцов структуры. Структуру можно изменять, добавлять и удалять столбцы, вложенные таблицы.
Мастер интеллектуального анализа данных позволяет определить новые структуры интеллектуального анализа, выбрать источник данных, разбить данные структуры на обучающие и проверочные наборы.
Модель интеллектуального анализа данных описывается подмножеством столбцов структуры. Создание структур и моделей ИАД аналогично созданию таблиц реляционной модели данных с использованием SQL.
Контрольные вопросы
1. Содержимое структуры интеллектуального анализа данных может быть определёно:
а) существующего представления источника данных или куба;
б) существующего источника и представления источника данных;
в) существующего источника данных и многомерного куба;
г) на основе модели интеллектуального анализа данных.
2. Мастер интеллектуального анализа предназначен для работы:
а) с моделями интеллектуального анализа данных;
б) с таблицами источника данных для интеллектуального анализа;
в) со структурами и моделями интеллектуального анализа;
г) со структурами интеллектуального анализа данных.
3. Конструктор интеллектуального анализа данных предназначен для работы с моделями анализа данных:
а) в службах SQL Server Data Mining;
б) в службах SQL Server Analysis Services;
в) в службах SQL Server Integration Services;
г) в службах SQL Server Management Studio.
4. После разбиения данных на обучающий и проверочный набор эти данные могут быть использованы:
а) одной моделью, содержащей описание наборов данных;
б) всеми моделями на основе одной созданной структуры;
в) множеством моделей на основе различных созданных структур;
г) моделями, определёнными обучающим набором данных.
5. При построении модели ИАД на основе OLAP в службе Analysis Services в мастере указывается:
а) многомерная база данных, доступная службе Analysis Services;
б) реляционное хранилище данных, используемое при анализе;
в) существующий куб для определения структуры модели;
г) список измерений, сформированных в хранилище данных.
