- •Раздел 1. Накопление и обработка данных .…………………………… 5
- •Раздел 2. Оперативный анализ данных ….…………………………… 43
- •Раздел 3. Интеллектуальный анализ данных ………………………… 82
- •Раздел 4 Загрузка данных и программирование запросов ...………… 110
- •Раздел 5. Подготовка отчетов по результатам анализа …….……… 136
- •Раздел 1. Накопление и обработка данных Лекция 1. Информационно-аналитические системы
- •Операционная обработка данных
- •Оперативный анализ данных
- •Интеллектуальный анализ данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 2. Концепции хранения данных
- •Реляционные базы данных
- •Организация хранилищ данных
- •Концепция многомерной модели данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 3. Интеграция и трансформации данных
- •Платформа sql Server 2008
- •Система Management Studio
- •Служба sql Server Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 3. Интеллектуальный анализ данных Лекция 8. Кластерный анализ данных
- •Формальная постановка задачи кластеризации
- •Меры близости в кластерном анализе
- •Иерархические алгоритмы кластеризации
- •Неиерархические алгоритмы кластеризации
- •Представление результатов кластеризации
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 9. Классификация и регрессия
- •Математические функции
- •Правила классификации
- •Деревья решений
- •Методы построения деревьев решений
- •Алгоритмы построения деревьев решений
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 10. Поиск ассоциативных правил
- •Цель лекции – изучение формализованной постановки и алгоритма решения задачи поиска ассоциативных правил.
- •Формальная постановка задачи
- •Обнаружение закономерностей в последовательностях данных
- •Алгоритм поиска ассоциативных правил Apriori
- •Представление результатов
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 8. Службы sql Server Analysis Services
- •Конструктор интеллектуального анализа данных
- •Мастер интеллектуального анализа данных
- •Создание структуры интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Создание и представление источника данных
- •Загрузка с применением Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 12. Основы языка Multidimensional Expressions
- •Оператор select
- •Алгебра множеств и операции с множествами
- •Функции языка mdx
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 13. Язык операций Data Mining
- •Ключевые концепции и объекты dmx
- •Синтаксис запросов dmx
- •Создание моделей интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 5. Подготовка отчёта по итогам анализа Лекция 14. Служба отчетов Reporting Services
- •Архитектура службы отчётов
- •Средства проектирования запросов
- •Развёртывание Reporting Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 15. Источники данных для отчётов
- •Общие источники данных
- •Источники поддерживаемые Reporting Services
- •Создание, изменение и удаление источников
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 16. Конструирование и создание отчётов
- •Основы конструирования отчётов
- •Создание нерегламентированных отчётов
- •Создание отчётов с применением конструктора
- •Краткие итоги
- •Литература
- •Глоссарий
- •Контрольные вопросы
Краткие итоги
Задачи классификации и регрессии связаны с определением значений зависимой переменной объекта по значениям независимых переменных, характеризующих объект.
Посредством математической функции описывают зависимость переменной от независимой переменной. При этом объекты классификации и регрессии рассматриваются как точки в
–
пространстве.Деревья решений являются способом представления правил в иерархической и последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение. Под правилом понимается логическая конструкция «если …, то …».
Построение деревьев решений реализуется на основе методики «разделяй и властвуй», предполагающей рекурсивное разбиение множества объектов из обучающей выборки на классы (подмножества) объектов.
Компанией Microsoft предложен популярный алгоритм деревьев решений (Microsoft Decision Trees), который используется при решении задач классификации, регрессионного анализа и анализа взаимосвязей.
Контрольные вопросы
1. Задача классификации решается в случае, если зависимая переменная принимает значения из:
а) конечного множества;
б) бесконечного множества;
в) счётного множества;
г) континуума.
2. В деревьях решений в качестве листа рассматривается:
а) внутренняя вершина дерева или узел проверки;
б) конечный узел дерева или узел решения;
в) отсечённые при построении дерева узлы решений;
г) узел дерева решений, не содержащий объектов.
3. В алгоритме CART (Classification and Regression Tree), для оценки качества разбиения объектов в процессе обучения используется:
а) статистический критерий;
б) отношение правильно классифицированных объектов к общему количеству объектов;
в) статистический, и теоретико-информационный критерий.
г) теоретико-информационный критерий.
4. Правило классификации может быть представлено в виде:
а) наборами параметров, определяющих принадлежность объекта к одному из классов заданного множества;
б) классификационного правила: если (условие), то (заключение);
в) аналитического выражения, определяющего функциональную зависимость между зависимой переменной и независимыми переменными;
г) математической функции, выражающей отношение зависимой переменной от независимых переменных;
5. Условие разделения объектов в узле дерева решений должно отвечать требованию:
а) формирования подмножеств из объектов одного класса или с минимальным количеством объектов из других классов;
б) формирования подмножеств с равным количеством объектов;
в) формирования подмножеств,
г) формирования подмножества
Литература
1. Барсегян А.А. Методы и модели анализа данных: OLAP и Data Mining / Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. – СПб.: БХВ-Петербург, 2004. – 336 с.
2. Microsoft SQL Server 2008: Data mining – интеллектуальный анализ данных. Пер. с англ. / Дж. Макленнен, Чж. Танг, Б. Криват. – БХВ-Петербург. 2009. – 720 с.
3. Ларсон Б. Разработка бизнес-аналитики в SQL Server 2005. – СПб.: Питер, 2008. – 684 с.
4. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям. – СПб.: Питер, 2009 год. – 624 с.
5. Новиков Ф.А. Дискретная математика для программистов. – Спб.: Питер, 2001. – 304 с.
