- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Введение.
- •Методы решения задач Data Mining в Microsoft sql Server.
- •Метод дерева принятия решений.
- •Упрощенный Метод Байеса
- •Метод временных рядов.
- •Метод кластеризации
- •Метод поиска взаимосвязей
- •Метод линейной регрессии.
- •Метод кластеризации последовательностей
- •Метод нейронной сети
- •Области использования рассмотренных алгоритмов.
- •Доступ к средствам sql Server Data Mining из Microsoft Office.
- •Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать).
- •Инструмент «Анализ ключевых факторов влияния».
- •Инструмент «Поиск категорий».
- •Инструмент Заполнение по примеру (Fill From Example).
- •Инструмент прогнозирования Прогноз
- •Инструмент Выделение исключений
- •Инструмент Анализ сценария.
- •Поиск решения.
- •Анализ гипотетических вариантов
- •Клиент интеллектуального анализа данных для Excel
- •Подготовка данных
- •Просмотр данных.
- •Инструмент Очистить данные
- •Секционирование данных.
- •Панель инструментов Моделирование данных. Классификация.
- •Инструмент «Оценка»
- •Инструмент «Кластеризация»
- •Инструмент Связать.
- •Инструмент Прогноз.
- •Инструмент Дополнительно.
- •Панель Точность и правильность
- •Диаграмма точности.
- •Матрица классификации
- •Литература и источники.
- •Оглавление
- •101990 Москва, Малый Златоустинский пер. 7
- •Введение.
- •Хранилище данных Концепция хранилища данных.
- •Архитектура хранилища данных.
- •Проблемы создания хранилищ данных.
- •Требования к субд и используемые данные.
- •Data Mining или добыча знаний
- •Типы выявляемых закономерностей и этапы решения
- •Обзор используемых методов и алгоритмов
- •Классификация.
- •Кластеризации.
- •Задача ассоциации
- •Визуализация
- •Системы, реализующие Data Mining
- •Система PolyAnalyst
- •Работа с системой PolyAnalyst
- •Задание для самостоятельного выполнения.
- •Нейронные сети. Область применения нейронных сетей.
- •Теоретические аспекты нейронных сетей.
- •Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению.
- •Программные системы для нейросетевого моделирования.
- •Программный пакет BrainMaker Professional.
- •Последовательность работы с пакетом BrainMaker Professional
- •Задания для самостоятельного выполнения:
- •Литература и источники.
- •Кондрашов Юрий Николаевич, Современные технологии интеллектуальной обработки информации.
- •101990 Москва, Малый Златоустинский пер. 7 Язык dmx Концепции языка dmx
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Детализация структуры
- •Детализация модели
- •Запрос значений столбца
- •Запрос содержимого модели
- •1. Витрины данных, как обособленная (специализированная) часть хд
- •2. Витрины данных (вид хд) , как промежуточная часть хд.
- •2. Кубы данных – оперативная аналиическая обработка (olap)
Матрица классификации
Матрица классификации или матрица неточностей показывает, сколько раз полученная модель прогнозирует результаты правильно и что она прогнозирует, когда ошибается.
После запуска инструмента (рис. 159) выбирается анализируемая модель (рис. 160). В данном примере выбирается модель классификации на основе дерева решений, рассмотренная выше. Исходные данные определяют потенциальных покупателей велосипедов (целевой столбец BikeBuyer принимает значение Yes или No в зависимости от известных характеристик покупателей). Исходные данные с использованием рассмотренных средств разбиты на два подмножества Обучающие данные и Проверяемые данные. Модель классификации на основе дерева решений строилась на подмножества Обучающие данные.
Рисунок 159
Рисунок 160
Для выбранной модели указывается прогнозируемый столбец BikeBuyer (рис. 161) и задаются данные для проверки модели (рис. 162). В качестве данных для проверки выбирается подмножество Проверяемые данные.
Рисунок 161
Рисунок 162
На следующем шаге задается соответствие столбцов исходных данных для построения модели и данных для проверки модели (рис. 163).
Рисунок 163
Отчет о результатах проверки показан на рисунке 164. Значения, которые находятся на диагонали из верхнего левого в правый нижний угол матрицы, дают верное число значений, которые действительно присутствуют в проверочном наборе данных. Столбцы матрицы представляют элементы, которые были спрогнозированы в проверочном наборе данных. Строки представляют действительное состояние атрибута в том виде, в котором он имеется в проверочном наборе данных.
Рисунок 164
Литература и источники.
Дж. Макленнен и др. SQL Server 2008. Data mining интеллектуальный анализ данных. СПб: БХВ-Петербург, 2009.
А.А. Барсегян и др. Анализ данных и процессов. СПб: БХВ-Петербург, 2009.
Кондрашов Ю.Н. Современные технологии интеллектуальной обработки информации. Учебное пособие. ФГОУВПО Академия бюджета и казначейства. М.: 2007.
В. Дюк, А. Самойленко. Data mining. Учебный курс.- СПб: Питер. 2001.
Э. Спирли Корпоративные хранилища данных. М.: Издательский дом «Вильямс», 2001.
Интернет-источникиы:
http://www.olap.ru/
http://www.at-consulting.ru/
http://www.neuralbench.ru/
http://www.tora-centre.ru/library/ns/nn_fin2.htm
http://www.intuit.ru/department/database/datamining/11/INTUIT.ru:: Интернет Университет Информационных Технологий.
http://www.superbroker.ru/net.aspx#b2
www.neuralnetworks.ultranet.ru.
http://www.neural-forecasting.com
http://neuroschool.narod.ru/
http://www.basegroup.ru/neural/math.htm
http://algolist.ru/ai/neuro/index.php
http://www.neural-forecasting.com/
www.neuropro.ru
Оглавление
Создание структуры. 1
Создание модели интеллектуального анализа данных 3
Введение. 10
Методы решения задач Data Mining в Microsoft SQL Server. 12
Метод дерева принятия решений. 16
Упрощенный Метод Байеса 19
Метод временных рядов. 21
Метод кластеризации 22
Метод линейной регрессии. 23
Метод поиска взаимосвязей 24
Метод кластеризации последовательностей 26
Метод нейронной сети 28
Области использования рассмотренных алгоритмов. 31
Доступ к средствам SQL Server Data Mining из Microsoft Office. 33
Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать). 34
Инструмент «Анализ ключевых факторов влияния». 35
Инструмент «Поиск категорий». 39
Инструмент Заполнение по примеру (Fill From Example). 44
Инструмент прогнозирования Прогноз 47
Инструмент Выделение исключений 50
Инструмент Анализ сценария. 51
Поиск решения. 52
Анализ гипотетических вариантов 56
Клиент интеллектуального анализа данных для Excel 59
Подготовка данных 60
Просмотр данных. 61
Инструмент Очистить данные 64
Секционирование данных. 70
Панель инструментов Моделирование данных. 75
Классификация. 75
Инструмент «Оценка» 82
Инструмент «Кластеризация» 85
Инструмент Связать. 90
Инструмент Прогноз. 97
Инструмент Дополнительно. 99
Панель Точность и правильность 104
Диаграмма точности. 105
Матрица классификации 109
Литература и источники. 112
Оглавление 113
Введение. 119
Хранилище данных 121
Концепция хранилища данных. 121
Архитектура хранилища данных. 123
Проблемы создания хранилищ данных. 127
Требования к СУБД и используемые данные. 130
Data Mining или добыча знаний 140
Типы выявляемых закономерностей и этапы решения 143
Обзор используемых методов и алгоритмов 146
Системы, реализующие Data Mining 173
Система PolyAnalyst 174
Работа с системой PolyAnalyst 178
Задание для самостоятельного выполнения. 219
Нейронные сети. 221
Область применения нейронных сетей. 221
Теоретические аспекты нейронных сетей. 225
Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению. 237
Программные системы для нейросетевого моделирования. 244
Программный пакет BrainMaker Professional. 249
Последовательность работы с пакетом BrainMaker Professional 254
Задания для самостоятельного выполнения: 281
Литература и источники. 284
Язык DMX 290
Концепции языка DMX 290
Создание структуры. 296
Создание модели интеллектуального анализа данных 299
Детализация структуры 309
Детализация модели 310
Запрос значений столбца 311
Запрос содержимого модели 312
Автор:
Доктор технических наук, профессор
Кондрашов Юрий Николаевич
Анализ данных в электронной таблице Excel
Учебное пособие.
Редактор Силуанова Я.Н.
И
зд.№
Объем 6,5 п.л. Тираж 100
Заказ
Государственный Университет
Министерства финансов Российской Федерации
