1.3. Методы Data Mining

Все методы Data Mining подразделяются на две большие группы по принципу работы с исходными обучающими данными. В этой классификации верхний уровень определяется на основании того, сохраняются ли данные после Data Mining либо они дистиллируются для последующего использования.

В случае непосредственного использования (сохранения) данных исходные данные хранятся в явном детализированном виде и непосредственно используются на стадиях прогнозирования (построения прогнозных моделей) (а также на стадии анализа исключений). Проблема этой группы методов заключается в том, что при их использовании могут возникнуть сложности анализа сверхбольших баз данных. К методам данной группы относят кластерный анализ, методы ближайшего соседа, рассуждения по аналогии.

При использовании технологии дистилляции шаблонов один образец (шаблон) информации извлекается из исходных данных и преобразуется в некие формальные конструкции, вид которых зависит от конкретного используемого метода Data Mining. На этапах прогнозирования и анализа исключений используются полученные формальные конструкции, которые значительно компактнее самих баз данных. К методам данной группы относят различные логические методы (нечеткие запросы и анализы, символьные правила, деревья решений, генетические алгоритмы), методы визуализации, методы кросс-табуляции (байесовские сети доверия, кросс-табличная визуализация), статистические методы, методы, основанные на нейронных сетях.

Статистические методы наиболее часто применяются для решения задач прогнозирования. Существует множество методов статистического анализа данных, среди них, например, корреляционно-регрессионный анализ, корреляция рядов динамики, выявление тенденций динамических рядов, гармонический анализ.

Методы Data Mining также можно классифицировать по задачам Data Mining. В соответствии с такой классификацией можно выделить две группы. Первая из них – это разделение методов Data Mining на решающие задачи сегментации (т.е. задачи классификации и кластеризации) и задачи прогнозирования.

Если классифицировать методы в соответствии с используемыми в них моделями, то получаем разделение на методы, направленные на получение описательных результатов, и методы, направленные на получение результатов прогнозирования.

Описательные методы служат для нахождения шаблонов или образцов, описывающих данные, которые поддаются интерпретации с точки зрения аналитика. К ним относятся итеративные методы кластерного анализа, в том числе: алгоритм k-средних, k-медианы, иерархические методы кластерного анализа, самоорганизующиеся карты Кохонена, методы кросс-табличной визуализации и другие.

Прогнозирующие методы используют значения одних переменных для прогнозирования неизвестных (пропущенных) или будущих значений других (целевых) переменных. К данной группе методов относят нейронные сети, деревья решений, линейную регрессию, метод ближайшего соседа, метод опорных векторов и др.

1.4. Общий подход в прогнозирующих методах

В системах, моделирующих мышление, обобщение [11] понимают как процесс получения знаний, объясняющих имеющиеся факты, и способных объяснять, классифицировать или предсказывать новые. В общем виде задача обобщения представлена следующим образом: по совокупности наблюдений (фактов) F, совокупности требований и допущений к виду результирующей гипотезы H и совокупности базовых знаний и предположений, включающих знания об особенностях предметной области, выбранном способе представленных знаний, допустимых операторов, эвристик и др., сформировать гипотезу H: (H «объясняет» F).

Форма представления и общий вид гипотезы H, а также выбранные модели обобщения зависят от цели обобщения и выбранного способа представления знаний. Можно выделить модели обобщения по выборкам и модели обобщения по данным. В первом случае совокупность фактов F имеет вид обучающей выборки – множества объектов, каждый из которых сопоставляется с именем некоторого класса. Целью обобщения в этом случае может быть:

- формирование понятий, то есть построение по данным обучающей выборки для каждого класса максимальной совокупности его общих характеристик;

- классификация, или построение по данным обучающей выборки минимальной совокупности характеристик, которая отличала бы элементы одного класса от элементов других классов;

- определение закономерности последовательного появления событий.

К моделям обобщения по выборкам относятся лингвистические модели, методы автоматического синтеза алгоритмов и программ по примерам. В моделях обобщения по данным априорное разделение фактов по классам отсутствует. Здесь могут ставиться такие цели:

• получение гипотезы, обобщающей данные факты;

• выделение образов на множестве наблюдаемых данных, группировка данных по признакам;

• установление закономерностей, характеризующих совокупность наблюдаемых данных.

Задача обобщения состоит в том, чтобы на основании анализа обучающей выборки построить решающее правило, с помощью которого можно разделить положительные и отрицательные объекты, т.е. такое понятие, на основе которого можно, применяя некое правило распознавания, правильно распознавать все положительные и отрицательные объекты множества обучающей выборки.

Проблема формирования понятий по признаковым описаниям была сформулирована М.М. Бонгардом[1]. Процедура обучения по Бонгарду является сложным вариантом обучения «с учителем» и основывается на двух этапах: обучении и экзамене. Результатом процедуры обучения будет некоторое решающее правило (набор неких правил), которое должно позволять принять решение об отнесении конкретных примеров к понятию. После того, как распознающее правило на обучающей выборке построено, проводится экзамен – с помощью распознающего правила надо ответить на поставленный вопрос, т.е. отнести объекты новой, экзаменационной выборки к определенному классу. Результатом экзамена является процент достоверности решающего правила, то есть количество правильно распознанных объектов из числа экзаменационной выборки. Если этот процент окажется неприемлемым, то есть результат экзамена будет неудовлетворительным, то необходимо уточнить новое решающее правило, полностью или частично заменив обучающую выборку. В качестве обучающей выборки в данном случае может служить и та экзаменационная выборка, которая дала неудовлетворительные результаты.

Решающее правило является корректным, если оно в дальнейшем успешно распознает примеры (положительные) и контрпримеры (отрицательные) обучающей выборки.