2.Области использования Data Mining

Методы Data Mining могут использоваться практически во всех областях человеческой деятельности. Однако наибольшее распространение они получили:

1. В торговле:

• анализ покупательской корзины с целью выяснения товаров, которые покупатели стремятся приобрести вместе;

• исследование временных шаблонов и создание прогнозирующих моделей с целью оптимизации запасов.

2. В банковском деле:

• для выявления мошенничества с кредитными карточками;

• сегментации клиентов;

• прогнозирования изменений клиентуры.

3. Специальные приложения:

• медицина – для создания экспертных систем по постановке медицинских диагнозов;

• молекулярная генетика и генная инженерия: для расшифровки генома человека и наследственных заболеваний;

• прикладная химия – для анализа высокомолекулярных соединений и создания соединений с требуемыми свойствами: лекарства, парфюмерия и т.д.

3.Типы закономерностей в Data Mining

Cогласно В.А.Дюку , выделяют пять стандартных типов закономерностей, выявляемых методами Data Mining:

ассоциация — высокая вероятность связи событий друг с другом (например, один товар часто приобретается вместе с другим);

последовательность — высокая вероятность цепочки связанных во времени событий (например, в течение определенного срока после приобретения одного товара будет с высокой степенью вероятности приобретен другой);

классификация — имеются признаки, характеризующие группу, к которой принадлежит то или иное событие или объект (обычно при этом на основании анализа уже классифицированных событий формулируются некие правила);

кластеризация — закономерность, сходная с классификацией и отличающаяся от нее тем, что сами группы при этом не заданы — они выявляются автоматически в процессе обработки данных;

временные закономерности — наличие шаблонов в динамике поведения тех или иных данных (типичный пример — сезонные колебания спроса на те или иные товары либо услуги), используемых для прогнозирования.

4.Классы систем Data Mining

DM - Data Mining - является мультидисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории БД и др. (см. рисунок). Отсюда обилие методов, алгоритмов и математических правил, реализованных в различных действующих системах DM , среди них можно выделить:

Регрессионный, дисперсионный и корреляционный анализ

Реализован в большинстве современных статистических пакетов, в частности в продуктах компаний SAS Institute, StatSoft и др.;

Фильтрация

Необходимость в фильтрации возникает, когда нужно отделить полезную информацию от искажающего его шума за счет сглаживания, очистки, редактирования аномальных значений, устранения незначащих факторов, понижения размерности информации и т.д.

Анализ эмпирических моделей

Анализ эмпирических моделей конкретной предметной области, часто применяемые, например, в недорогих средствах финансового анализа;

Кластерный анализ

Кластерный анализ подразделяет гетерогенные данные на гомогенные или полугомогенные группы для объединения сходных событий в группы на основании сходных значений нескольких полей в наборе данных.

Нейросетевые алгоритмы

Нейросетевые алгоритмы, идея которых основана на аналогии с функционированием нервной ткани и заключается в том, что исходные параметры рассматриваются как сигналы, преобразующиеся в соответствии с имеющимися связями между «нейронами», а в качестве ответа, являющегося результатом анализа, рассматривается отклик всей сети на исходные данные.

Ассоциативные правила

Ассоциативные правила выявляют причинно следственные связи и определяют вероятности или коэффициенты достоверности, позволяя делать соответствующие выводы

Деревья решений

Иерархическая структура, базирующаяся на наборе вопросов, подразумевающих ответ «Да» или «Нет». Деревья решений применяются при решении задач поиска оптимальных решенийна основе описанной модели поведения.

Алгоритмы сопоставления/прецедентов

(Memory-based Reasoning, MBR/ Case-Based Reasoning, CBR) — выбор близкого аналога исходных данных из уже имеющихся исторических данных.

Алгоритмы ограниченного перебора

Алгоритмы ограниченного перебора, вычисляющие частоты комбинаций простых логических событий в подгруппах данных;

Генетические алгоритмы

Этот метод использует итеративный процесс эволюции последовательности поколений моделей, включающий операции отбора, мутации и скрещивания. Генетические алгоритмы применяются при решении задач оптимизации. function).

Эволюционное программирование

Поиск и генерация алгоритма, выражающего взаимозависимость данных, на основании изначально заданного алгоритма, модифицируемого в процессе поиска; иногда поиск взаимозависимостей осуществляется среди каких-либо определенных видов функций (например, по линомов).