1.3.8.2.4. Кластеризация

Кластеризация используется для обнаружения классов схожих объектов в имеющемся наборе данных. Кластеризация аналогична классификации, но в отличие от последней классы объектов заранее не известны. Методы кластеризации широко используют алгоритмы нейронных сетей и статистическую обработку. В процессе кластеризации средство интеллектуального анализа определяет схожие характеристики объектов и на их основе объединяет объекты в классы. Качество процесса кластеризации определяется схожестью объектов внутри класса и степенью отличия разных классов между собой. Кластеризация обычно применяется для решения таких задач, как определение производственного брака или выявления групп услуг по кредитным карточкам предпочтительных для разных групп клиентов.

1.3.8.2.5. Прогнозирование

Регрессия – один из двух методов прогнозирования. Данный метод использует имеющиеся фактические значения величин для прогнозирования будущих на основании трендов и имеющейся статистики. Например, объем продаж аксессуаров для спортивных машин можно спрогнозировать по количеству проданных спортивных машин в прошлом месяце.

Различие между регрессией и временными рядами состоит в том, что временные ряды предсказывают значения переменных, зависящих от времени. Например, с их помощью можно прогнозировать количество несчастных случаев во время каникул на основе аналогичных данных за прошлый период. Время в данном случае может содержать иерархии (рабочая неделя, календарная неделя, период) праздники, сезоны, интервалы дат.

1.3.8.3. Математический аппарат

Основой систем data mining является выявление различных закономерностей в данных. При этом применяются следующие методы:

– деревья решений;

– алгоритмы кластеризации;

– регрессионный анализ;

– нейронные сети;

– временные ряды.

1.3.8.3.1. Деревья решений

Деревья решения являются одним из наиболее популярных подходов к решению задач data mining. Они создают иерархическую структуру классифицирующих правил типа «ЕСЛИ... ТО...», имеющую вид дерева. Для того чтобы решить, к какому классу отнести некоторый объект или ситуацию, требуется ответить на вопросы, стоящие в узлах этого дерева, начиная с его корня. Вопросы имеют вид «значение параметра A больше x». Если ответ положительный, осуществляется переход к правому узлу следующего уровня, если отрицательный – то к левому узлу; затем снова следует вопрос, связанный с соответствующим узлом.

Популярность подхода связана с наглядностью и понятностью. Но очень остро для деревьев решений стоит проблема значимости. Дело в том, что отдельным узлам на каждом новом построенном уровне дерева соответствует все меньшее и меньшее число записей данных – дерево дробит данные на большое количество частных случаев. Чем больше этих частных случаев, чем меньше обучающих примеров попадает в каждый такой частный случай, тем менее уверенной становится их классификация. Если построенное дерево слишком «кустистое» – состоит из неоправданно большого числа мелких веточек – оно не будет давать статистически обоснованных ответов. Как показывает практика, в большинстве систем, использующих деревья решений, эта проблема не находит удовлетворительного решения. Кроме того, общеизвестно, и это легко показать, что деревья решений дают полезные результаты только в случае независимых признаков. В противном случае они лишь создают иллюзию логического вывода.

Область применения деревьев решений в настоящее время широка, но все задачи, решаемые этим аппаратом, могут быть объединены в следующие три класса:

Описание данных. Деревья решений позволяют хранить информацию о данных в компактной форме, вместо них мы можем хранить дерево решений, которое содержит точное описание объектов.

Классификация. Деревья решений отлично справляются с задачами классификации, т.е. отнесения объектов к одному из заранее известных классов. Целевая переменная должна иметь дискретные значения.

Регрессия. Если целевая переменная имеет непрерывные значения, деревья решений позволяют установить зависимость целевой переменной от независимых (входных) переменных. Например, к этому классу относятся задачи численного прогнозирования (предсказания значений целевой переменной).