- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Введение.
- •Методы решения задач Data Mining в Microsoft sql Server.
- •Метод дерева принятия решений.
- •Упрощенный Метод Байеса
- •Метод временных рядов.
- •Метод кластеризации
- •Метод поиска взаимосвязей
- •Метод линейной регрессии.
- •Метод кластеризации последовательностей
- •Метод нейронной сети
- •Области использования рассмотренных алгоритмов.
- •Доступ к средствам sql Server Data Mining из Microsoft Office.
- •Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать).
- •Инструмент «Анализ ключевых факторов влияния».
- •Инструмент «Поиск категорий».
- •Инструмент Заполнение по примеру (Fill From Example).
- •Инструмент прогнозирования Прогноз
- •Инструмент Выделение исключений
- •Инструмент Анализ сценария.
- •Поиск решения.
- •Анализ гипотетических вариантов
- •Клиент интеллектуального анализа данных для Excel
- •Подготовка данных
- •Просмотр данных.
- •Инструмент Очистить данные
- •Секционирование данных.
- •Панель инструментов Моделирование данных. Классификация.
- •Инструмент «Оценка»
- •Инструмент «Кластеризация»
- •Инструмент Связать.
- •Инструмент Прогноз.
- •Инструмент Дополнительно.
- •Панель Точность и правильность
- •Диаграмма точности.
- •Матрица классификации
- •Литература и источники.
- •Оглавление
- •101990 Москва, Малый Златоустинский пер. 7
- •Введение.
- •Хранилище данных Концепция хранилища данных.
- •Архитектура хранилища данных.
- •Проблемы создания хранилищ данных.
- •Требования к субд и используемые данные.
- •Data Mining или добыча знаний
- •Типы выявляемых закономерностей и этапы решения
- •Обзор используемых методов и алгоритмов
- •Классификация.
- •Кластеризации.
- •Задача ассоциации
- •Визуализация
- •Системы, реализующие Data Mining
- •Система PolyAnalyst
- •Работа с системой PolyAnalyst
- •Задание для самостоятельного выполнения.
- •Нейронные сети. Область применения нейронных сетей.
- •Теоретические аспекты нейронных сетей.
- •Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению.
- •Программные системы для нейросетевого моделирования.
- •Программный пакет BrainMaker Professional.
- •Последовательность работы с пакетом BrainMaker Professional
- •Задания для самостоятельного выполнения:
- •Литература и источники.
- •Кондрашов Юрий Николаевич, Современные технологии интеллектуальной обработки информации.
- •101990 Москва, Малый Златоустинский пер. 7 Язык dmx Концепции языка dmx
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Детализация структуры
- •Детализация модели
- •Запрос значений столбца
- •Запрос содержимого модели
- •1. Витрины данных, как обособленная (специализированная) часть хд
- •2. Витрины данных (вид хд) , как промежуточная часть хд.
- •2. Кубы данных – оперативная аналиическая обработка (olap)
Типы выявляемых закономерностей и этапы решения
Задачи Data Mining также называют закономерностями.
Единого мнения относительно того, какие задачи следует относить к Data Mining, нет. Большинство источников перечисляют следующие: классификация, кластеризация, прогнозирование, ассоциация, визуализация, анализ и обнаружение отклонений, оценивание, анализ связей.
Классификация - обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных - классы; по этим признакам новый объект можно отнести к тому или иному классу.
Кластеризация является логическим продолжением идеи классификации и заключается в том, что классы объектов изначально не предопределены. Результатом кластеризации является разбиение объектов на группы.
Ассоциация - поиск закономерности между связанными событиями в наборе данных. Поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно.
Например, исследование, проведенное в супермаркете, может показать, что 65 % купивших кукурузные чипсы берут также и «кока-колу», а при наличии скидки за такой комплект «колу» приобретают в 85 % случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка.
Последовательность позволяет найти временные закономерности между транзакциями. Задача последовательности подобна ассоциации, но ее целью является установление закономерностей не между одновременно наступающими событиями, а между событиями, связанными во времени (т.е. происходящими с некоторым определенным интервалом во времени). Другими словами, последовательность определяется высокой вероятностью цепочки связанных во времени событий. Правило последовательности: после события X через определенное время произойдет событие Y.
Например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60 % новоселы обзаводятся холодильником.
Прогнозирование - на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.
Определение отклонений или выбросов - обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов.
Оценивание - сводится к предсказанию непрерывных значений признака.
Анализ связей - нахождение зависимостей в наборе данных.
Визуализация - создание графического образа анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных.
При решении задач Data Mining выделяется два этапа: создание модели (поиск зависимостей, набор правил и др.) на основе информации в хранилище данных и использование модели для поступающих новых данных.
Эти этапы можно проиллюстрировать на примере простой задачи классификации.
Имеется база данных о клиентах туристического агентства с информацией о возрасте, семейном положении и доходе за месяц.
Все клиенты для проведения целенаправленной рекламной компании разделены на два класса. В результате фирма может разработать два вида целевого рекламного материала для более дорогого комфортного отдыха и более дешевого.
Код клиента |
Возраст |
Семейное положение |
Доход |
Класс |
1 |
18 |
married |
25 |
1 |
2 |
22 |
no |
100 |
2 |
3 |
30 |
no |
70 |
2 |
4 |
32 |
married |
120 |
1 |
5 |
24 |
married |
15 |
2 |
6 |
25 |
no |
22 |
2 |
7 |
32 |
no |
50 |
1 |
8 |
19 |
married |
45 |
2 |
9 |
22 |
no |
75 |
2 |
10 |
40 |
married |
90 |
1 |
В результате применения некоторого алгоритма (рис. 10) по имеющимся данным выбираются наиболее значимые атрибуты (значение дохода и семейного положения клиента) и формируется набор правил, по которым на основании значений дохода и семейного положения клиент относится к тому или другому классу.
Рисунок 174
В приведенном на рисунке 10 примере эти правила определяют доход больше 20 и семейное положение «женат» (если ДОХОД > 20 и СЕМЕЙНОЕ ПОЛОЖЕНИЕ = married). В этом случае клиент принадлежит к классу 1 (предпочитающий более дорогой и комфортный отдых). В противном случае – к классу 2.
Модель создана (в данном примере это набор правил).
При появлении нового клиента эта модель может использоваться для его классификации (второй этап, рисунок 11) и направления ему соответствующего рекламного материала.
Рисунок 175
Следует отметить, что информация о новых клиентах также заносится в базу данных и на ее основе может далее корректироваться модель.
При создании модели используются термины обучение и набор исходных данных, обучающее множество данных и тестовое множество.
Рассматриваемая здесь задача классификации относится к стратегии обучения с учителем. В этих случаях все объекты тренировочного набора данных заранее отнесены к одному из предопределенных классов.
Набор исходных данных (или выборка данных) это данные в хранилище (в данном примере приведенная таблица).
Набор исходных данных разбивают на два множества: обучающее и тестовое.
Обучающее множество данных - множество, которое включает данные в хранилище, использующиеся для обучения (конструирования) модели. Такое множество содержит входные и выходные (целевые) значения примеров. Выходные значения предназначены для обучения модели.
Тестовое множество также содержит входные и выходные значения примеров. Здесь выходные значения используются для проверки работоспособности модели.
Контрольные вопросы:
Какие задачи или закономерности относятся к Data Mining?
Что такое классификация? Приведите примеры.
Что такое кластеризация? Приведите примеры.
Что такое ассоциация? Приведите примеры.
Что такое последовательность? Приведите примеры.
Что такое анализ связей?
Что такое определение отклонений или выбросов?
Какие основные этапы выделяются при решении задач Data Mining?
Поясните термины набор исходных данных, обучающее множество данных, тестовое множество?
Что такое обучение с учителем?
