12.4.Интеллектуальный анализ данных Data Mining

Интеллектуальный анализ данных (Data Mining) – процесс выявления тенденций, трендов, взаимных корреляций данных, находящихся в хранилище, с использованием статистических и кибернетических методов.

Алгоритмы метода требуют большого количества информации, причем достоверной и точной, чтобы обнаруженные зависимости оказались верными. Такую концепцию может представить только хранилище данных (см. рис.2).

Цель Data Mining – поиск скрытых от аналитика функциональных и логических закономерностей, тенденций в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии или прогнозируют развитие рассматриваемых процессов.

Методы Data Mining можно разделить на две группы: статистические и кибернетические методы.

Статистические методы Data Mining:

• Дескриптивный анализ и описание исходных данных;

• Анализ связей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ);

• Многомерный статистический анализ (компонентный анализ, дискриминантный анализ, многомерный регрессионный анализ, канонические корреляции и др.);

• Анализ временных рядов (динамические модели и прогнозирование).

Кибернетические методы Data Mining:

• искусственные нейронные сети;

• эволюционное программирование;

• генетические алгоритмы (оптимизация);

• ассоциативная память (поиск аналогов, прототипов);

• нечеткая логика;

• деревья решений;

• системы обработки экспертных знаний.

Большинство инструментов Data Mining (пакеты Deductor, Statastica), имеющихся на рынке программного обеспечения, реализуют комплекс перечисленных методов.

Технология Data Mining позволяет решать следующие задачи:

1) Классификация – наиболее простая и распространенная задача Data Mining. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных – классы; по этим признакам новый объект можно отнести к тому или иному классу.

2) Кластеризация – особенность кластеризации заключается в том, что классы объектов изначально не предопределены. Результатом кластеризации является разбиение объектов на группы.

3) Ассоциация – в процессе поиска ассоциативных правил отыскиваются закономерности между связанными событиями в наборе данных. Поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно.

4) Последовательная ассоциация – позволяет найти временные закономерности между транзакциями. Ее целью является установление закономерностей между событиями, связанными во времени. Правило последовательности: после события X через определенное время произойдет событие Y. Решение данной задачи широко применяется в маркетинге и менеджменте, например, при управлении циклом работы с клиентом в CRM-системах.

5) Прогнозирование – на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.

6) Определение отклонений или выбросов – обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов.

7) Оценивание – сводится к предсказанию непрерывных значений признака.

8) Анализ связей – задача нахождения зависимостей в наборе данных.

9) Визуализация – в результате визуализации создается графический образ анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных. Данные могут быть представлены в 2D и 3D измерениях.

Следует отметить, что на сегодняшний день наибольшее распространение технология Data Mining получила при решении следующих задач:

• информационно-аналитические системы в бизнесе;

• решение задач государственной безопасности;

• научные исследования;

• анализ Web-контентов.

Одно из наиболее перспективных направлений применения Data Mining – использование данной технологии в аналитическом CRM.

CRM (Customer Relationship Management) – управление отношениями с клиентами. Важным аспектом в работе отделов маркетинга и отдела продаж является составление целостного представления о клиентах, информация об их особенностях, характеристиках, структуре клиентской базы. В CRM используется так называемое профилирование клиентов, дающее полное представление всей необходимой информации о клиентах. Профилирование клиентов включает следующие компоненты: сегментация клиентов, прибыльность клиентов, удержание клиентов, анализ реакции клиентов. Каждый из этих компонентов может исследоваться при помощи Data Mining, а анализ их в совокупности, как компонентов профилирования, в результате может дать те знания, которые из каждой отдельной характеристики получить невозможно.

Определяя закономерности поведения клиентов при помощи технологии Data Mining, можно существенно повысить эффективность работы отделов маркетинга, продаж и сбыта. При объединении технологий CRM и Data Mining и грамотном их внедрении в бизнес организация получает значительные преимущества перед конкурентами.