Отличия Data Mining от других методов анализа данных

Традиционные методы АД  (статистические методы и OLAP) в основном ориентированы на проверку заранее сформулированных гипотез и на "грубый" разведочный анализ, составляющий основу оперативной аналитической обработки данных, а основное положение Data Mining - поиск неочевидных закономерностей. Инструменты Data Mining могут самостоятельно находить такие закономерности  и строить гипотезы о взаимосвязях. Data Mining оперирует реальными значениями. OLAP больше подходит для понимания ретроспективных данных, Data Mining опирается на ретроспективные данные для получения ответов на вопросы о будущем.

Развитие технологии Data Mining в краткосрочной перспективе наиболее направлено к областям, связанным с бизнесом. В долгосрочной - это может быть поиск интеллектуальными агентами новых видов лечения различных заболеваний, нового понимания природы вселенной. Потенциальная опасность - все большее количество информации становится доступным через всемирную сеть: сведения частного характера и др.

Существуют успешные решения, использующие Data Mining, так и неудачный опыт применения этой технологии. Области, где применения технологии Data Mining будут успешными, имеют особенности:

• требуют решений, основанных на знаниях;

• имеют изменяющуюся окружающую среду;

• имеют доступные, достаточные и значимые данные;

• обеспечивают высокие дивиденды от правильных решений.

Сферы применения технологии Data Mining

Область применения Data Mining  не ограничена - она везде, где имеются любые данные и используется во всех сферах, где накоплены ретроспективные данные.

Наибольшее распространение Data Mining получила при решении бизнес-задач.

1. Решения бизнес-задач. Основные направления: банковское дело, финансы, страхование, CRM, производство, телекоммуникации, электронная коммерция, маркетинг, фондовый рынок и другие.

2. Решения задач государственного уровня. Основные направления: поиск лиц, уклоняющихся от налогов; средства в борьбе с терроризмом.

3. Научные исследования: медицина, биология, молекулярная генетика, генная инженерия, биоинформатика, астрономия, прикладная химия, исследования, касающиеся наркотической зависимости, др.

4. Решения Web-задач. Основные направления: поисковые машины, счетчики и др.

1. Применение технологии Data Mining для решения бизнес-задач Банковское дело. Data Mining используется в банковской сфере для решения задач:

1) Задача "Выдавать ли кредит клиенту?" (или задача анализа кредитоспособности клиента) - классический пример применения Data Mining в банковском деле. Без применения технологии Data Mining задача решается сотрудниками банков на основе их опыта, интуиции и субъективных представлений о том, какой клиент является благонадежным. По похожей схеме работают системы поддержки принятия решений: на основе исторической (ретроспективной) информации и при помощи методов классификации они выявляют клиентов, которые в прошлом не вернули кредит. С применения Data Mining: совокупность клиентов банка разбивается на два класса (вернувшие и не вернувшие кредит); на основе группы клиентов, не вернувших кредит, определяются основные "черты" потенциального неплательщика; при поступлении информации о новом клиенте определяется его класс («вернет/ не вернет кредит»).

2) Задача привлечения новых клиентов банка. С помощью инструментов Data Mining возможно провести классификацию на "более выгодных" и "менее выгодных" клиентов. После определения выгодного сегмента клиентов банку есть смысл проводить активную маркетинговую политику по привлечению клиентов среди найденной группы.

3) Другие задачи сегментации клиентов. Разбивая клиентов при помощи инструментов Data Mining на различные группы, банк имеет возможность сделать свою маркетинговую политику более эффективной, предлагая различным группам клиентов именно те виды услуг, в которых они нуждаются.

4) Задача управления ликвидностью банка. Прогнозирование остатка на счетах клиентов. Проводя прогнозирования временного ряда с информацией об остатках на счетах клиентов за предыдущие периоды, применяя методы Data Mining, можно получить прогноз остатка на счетах в определенный момент в будущем. Полученные результаты могут быть использованы для оценки и управления ликвидностью банка.

5) Задача выявления случаев мошенничества с кредитными карточками. Для выявления подозрительных операций с кредитными карточками применяются "подозрительные стереотипы поведения", определяемые в результате анализа банковских транзакций, которые впоследствии оказались мошенническими. Для определения подозрительных случаев используется совокупность последовательных операций на определенном временном интервале. Если система Data Mining считает очередную операцию подозрительной, работник банка может заблокировать операции с определенной карточкой.

Страхование. Страховой бизнес связан с определенным риском. Здесь задачи, решаемые при помощи Data Mining, сходные с задачами в банковском деле. Информация, полученная в результате сегментации клиентов на группы, используется для определения групп клиентов. В результате страховая компания может с наибольшей выгодой и наименьшим риском предлагать определенные группы услуг конкретным группам клиентов. Задача выявление мошенничества решается путем нахождения некого общего стереотипа поведения клиентов-мошенников.

Телекоммуникации. Решаются задачи, типичные для компаний, работающих с целью привлечения постоянных клиентов, - определения лояльности этих клиентов. Необходимость решения таких задач обусловлена конкуренцией и миграцией клиентов от одной компании в другую. Удержание клиента намного дешевле его возврата - необходимость выявления определенных групп клиентов и разработка наборов услуг, наиболее привлекательных именно для них. Важная задача - выявление фактов мошенничества. Другие задачи, определяемых спецификой сферы телекоммуникаций.

Электронная коммерция - Data Mining применяется для решения задач классификации посетителей Web-сайтов и формирования рекомендательных систем. Это позволит компаниям выявлять группы клиентов и проводить маркетинговую политику в соответствии с обнаруженными интересами и потребностями клиентов. Технология Data Mining для электронной коммерции тесно связана с технологией Web Mining.

Промышленное производство. Основные задачи: комплексный системный анализ производственных ситуаций; краткосрочный и долгосрочный прогноз развития производственных ситуаций; выработка вариантов оптимизационных решений; прогнозирование качества изделия в зависимости от некоторых параметров технологического процесса; обнаружение тенденций и закономерностей развития производственных процессов; выработка рекомендаций по управлению производственными процессами; визуализация результатов анализа, подготовка предварительных отчетов и проектов с оценками достоверности и эффективности возможных реализаций.

Маркетинг. Data Mining  - находит широкое применение. Основные вопросы маркетинга "Что продается?", "Как продается?", "Кто является потребителем?". Используются методы кластерного анализа, поиска ассоциативных правил, временных закономерностей для решения задач маркетинга (например, сегментация потребителей).

Розничная торговля. В сфере розничной торговли, как и в маркетинге, применяются:

• алгоритмы поиска ассоциативных правил (для определения часто встречающихся наборов товаров, которые покупатели покупают одновременно). Это помогает размещать товары на прилавках магазинов, и т.д.

• использование временных последовательностей для определения необходимых объемов запасов товаров на складе и др.

• методы классификации и кластеризации для определения групп или категорий клиентов, знание которых способствует успешному продвижению товаров.