Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Кондрашов ВСЕ.doc
Скачиваний:
9
Добавлен:
01.05.2025
Размер:
12 Мб
Скачать
☆

Типы выявляемых закономерностей и этапы решения

Задачи Data Mining также называют закономерностями.

Единого мнения относительно того, какие задачи следует относить к Data Mining, нет. Большинство источников перечисляют следующие: классификация, кластеризация, прогнозирование, ассоциация, визуализация, анализ и обнаружение отклонений, оценивание, анализ связей.

Классификация - обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных - классы; по этим признакам новый объект можно отнести к тому или иному классу.

Кластеризация является логическим продолжением идеи классификации и заключается в том, что классы объектов изначально не предопределены. Результатом кластеризации является разбиение объектов на группы.

Ассоциация - поиск закономерности между связанными событиями в наборе данных. Поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно.

Например, исследование, проведенное в супермаркете, может показать, что 65 % купивших кукурузные чипсы берут также и «кока-колу», а при наличии скидки за такой комплект «колу» приобретают в 85 % случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предо­ставляемая скидка.

Последовательность позволяет найти временные закономерности между транзакциями. Задача последовательности подобна ассоциации, но ее целью является установление закономерностей не между одновременно наступающими событиями, а между событиями, связанными во времени (т.е. происходящими с некоторым определенным интервалом во времени). Другими словами, последовательность определяется высокой вероятностью цепочки связанных во времени событий. Правило последовательности: после события X через определенное время произойдет событие Y.

Например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60 % новоселы обзаводятся холодильником.

Прогнозирование - на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.

Определение отклонений или выбросов - обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов.

Оценивание - сводится к предсказанию непрерывных значений признака.

Анализ связей - нахождение зависимостей в наборе данных.

Визуализация - создание графического образа анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных.

При решении задач Data Mining выделяется два этапа: создание модели (поиск зависимостей, набор правил и др.) на основе информации в хранилище данных и использование модели для поступающих новых данных.

Эти этапы можно проиллюстрировать на примере простой задачи классификации.

Имеется база данных о клиентах туристического агентства с информацией о возрасте, семейном положении и доходе за месяц.

Все клиенты для проведения целенаправленной рекламной компании разделены на два класса. В результате фирма может разработать два вида целевого рекламного материала для более дорогого комфортного отдыха и более дешевого.

Код клиента

Возраст

Семейное положение

Доход

Класс

1

18

married

25

1

2

22

no

100

2

3

30

no

70

2

4

32

married

120

1

5

24

married

15

2

6

25

no

22

2

7

32

no

50

1

8

19

married

45

2

9

22

no

75

2

10

40

married

90

1

В результате применения некоторого алгоритма (рис. 10) по имеющимся данным выбираются наиболее значимые атрибуты (значение дохода и семейного положения клиента) и формируется набор правил, по которым на основании значений дохода и семейного положения клиент относится к тому или другому классу.

Рисунок 174

В приведенном на рисунке 10 примере эти правила определяют доход больше 20 и семейное положение «женат» (если ДОХОД > 20 и СЕМЕЙНОЕ ПОЛОЖЕНИЕ = married). В этом случае клиент принадлежит к классу 1 (предпочитающий более дорогой и комфортный отдых). В противном случае – к классу 2.

Модель создана (в данном примере это набор правил).

При появлении нового клиента эта модель может использоваться для его классификации (второй этап, рисунок 11) и направления ему соответствующего рекламного материала.

Рисунок 175

Следует отметить, что информация о новых клиентах также заносится в базу данных и на ее основе может далее корректироваться модель.

При создании модели используются термины обучение и набор исходных данных, обучающее множество данных и тестовое множество.

Рассматриваемая здесь задача классификации относится к стратегии обучения с учителем. В этих случаях все объекты тренировочного набора данных заранее отнесены к одному из предопределенных классов.

Набор исходных данных (или выборка данных) это данные в хранилище (в данном примере приведенная таблица).

Набор исходных данных разбивают на два множества: обучающее и тестовое.

Обучающее множество данных - множество, которое включает данные в хранилище, использующиеся для обучения (конструирования) модели. Такое множество содержит входные и выходные (целевые) значения примеров. Выходные значения предназначены для обучения модели.

Тестовое множество также содержит входные и выходные значения примеров. Здесь выходные значения используются для проверки работоспособности модели.

Контрольные вопросы:

  1. Какие задачи или закономерности относятся к Data Mining?

  2. Что такое классификация? Приведите примеры.

  3. Что такое кластеризация? Приведите примеры.

  4. Что такое ассоциация? Приведите примеры.

  5. Что такое последовательность? Приведите примеры.

  6. Что такое анализ связей?

  7. Что такое определение отклонений или выбросов?

  8. Какие основные этапы выделяются при решении задач Data Mining?

  9. Поясните термины набор исходных данных, обучающее множество данных, тестовое множество?

  10. Что такое обучение с учителем?