5. Интеллектуальный анализ данных

5.1. Методы интеллектуального анализа данных

5.1.1. Основные понятия

Интеллектуальный анализ данных (ИАД, Data Mining) - термин, используемый для описания открытия знаний в базах данных, выделения знаний. Интеллектуальная добыча и анализ данных определяется как процесс аналитического исследования больших массивов информации с целью выявления определенных закономерностей и систематических взаимосвязей между переменными, которые затем можно применить к новым совокупностям данных. Методы ИАД приобретают все большую популярность в качестве инструмента для анализа экономической информации, особенно в тех случаях, когда предполагается, что из имеющихся данных можно будет извлечь скрытые знания для принятия решений в условиях неопределенности. Очень часто добыча данных трактуется как "смесь статистики, методов искусственного интеллекта и анализа баз данных".

С точки зрения выбора класса и вида зависимостей ИАД методы бывают двух типов. В первом случае пользователь выдвигает гипотезу относительно зависимостей между данными. Задача системы – оценить ее достоверность; процесс полностью контролируется человеком. Во втором случае зависимости между данными ищутся автоматически: просматриваются данные и отбираются наиболее существенные зависимости, осуществляется поиск данных, сильно отличающийся от существующих тенденций.

Обучающая выборка может быть:

- "с учителем", когда для каждого примера задается в явном виде значение признака его принадлежности некоторому классу ситуаций (классообразующего признака);

- "без учителя", когда по степени близости значений признаков классификации система сама выделяет классы ситуаций.

Для более эффективного процесса анализа данных необходимо, чтобы обучающая выборка соответствовала нескольким критериям, а именно: репрезентативности – данные должны иллюстрировать истинное положение вещей в предметной области; непротиворечивость – противоречивые данные снижают эффективность обучения; объем – чем большим объемом данных мы располагаем, тем больше шансов выделить наиболее значимые зависимости.

Исходные данные перед их использованием могут быть подвергнуты нормировке (размерности всех данных приводятся к единой системе), квантованию (в первую очередь для непрерывных величин, фильтрации (для «зашумленных» данных).

Основными типами программных инструментариев, используемых в ИАД, являются нейронные сети; деревья решений, индукция, кластеризация, эволюционное моделирование, нечеткая логика, визуализация данных и т.д.

5.1.2. Типы закономерностей, выявляемых методами интеллектуального анализа данных

Пять типов зависимостей может быть определено при ИАД (рис. 5.1): ассоциации, последовательности, классификации, кластеры и прогнозирование.

Ассоциация имеет место, если несколько событий связаны друг с другом. Позволяет выделить устойчивые группы объектов, между которыми существуют неявно заданные связи. Результатом ассоциативного анализа являются правила вида: если факт А является частью события, то с определенной вероятностью факт В будет частью того же события.

Последовательность предполагает наличие некоторой цепочки связанных во времени событий, выявление ассоциаций во времени. Данную информацию можно использовать для увеличения вероятности возникновения следующего события.

Классификация позволяет выявить признаки, характеризующие группу, к которой принадлежит тот или иной объект посредством анализа уже классифицированных объектов и формулирования некоторого набора правил или построения деревьев классификации (обучение «с учителем»). Суть классификации – нахождение закономерностей, свойственных классам.

Кластеризация отличается от классификации тем, что классообразующий признак для объектов обучающей выборки не задан. Кластеризация выделяет группы объектов по схожести их признаков (обучение «без учителя»).

Прогнозирование позволяет определить перспективы развития исследуемого объекта на основе исторической информации, хранящейся в БД в виде временных рядов.