КОНСПЕКТ ЛЕКЦИЙ КОДЭИ

В дискриминантном анализе можно задать априорные вероятности принадлежности объекта к определенному классу. На практике эти вероятности оцениваются из массива экспериментальных данных.

Для классификации используются различные методы:

1)классификация с помощью деревьев решений;

2)байесовская (наивная) классификация ;

3)классификация при помощи искусственных нейронных сетей;

4)классификация методом опорных векторов;

5)статистические методы, в частности, линейная регрессия;

6)классификация при помощи метода ближайшего соседа;

7)классификация CBR-методом;

8)классификация при помощи генетических алгоритмов.

Предположения при проведении классификации

1.Нормальное распределение.

Предполагается, что анализируемые переменные представляют выборку из многомерного нормального распределения.

2.Однородность дисперсий-ковариаций.

Предполагается, что матрицы дисперсийковариаций переменных однородны.

3. Корреляции между средними и дисперсиями. Большинство "реальных" угроз корректности применения критериев значимости возникает из-за возможной зависимости между средними по совокупностям и дисперсиями (или стандартными отклонениями) между собой.

4. Задача с плохо обусловленной матрицей.

Другое предположение в дискриминантном анализе заключается в том, что переменные, используемые для дискриминации между совокупностями, не являются полностью избыточными. При вычислении результатов дискриминантного анализа происходит обращение матрицы дисперсий-ковариаций для переменных в модели. Если одна из переменных полностью избыточна по отношению к другим переменным, то такая матрица называется плохо обусловленной и не может быть обращена.

5. Значения толерантности. Чтобы избежать плохой обусловленности матриц, необходимо постоянно проверять так называемые значения толерантности для каждой переменной. В общем случае, когда переменная почти полностью избыточна (и поэтому матрица задачи является плохо обусловленной), значение толерантности для этой переменной будет приближаться к нулю.

Функции классификации

Функция классификации позволяет для каждого наблюдения и для каждой совокупности вычислить веса классификации по формуле:

Si = ci + wi1*x1 + wi2*x2 + ... + wim*xm

В этой формуле индекс i обозначает соответствующую совокупность, а индексы 1, 2,

..., m обозначают m переменных; ci являются константами для i-ой совокупности, wij - веса для j-ой переменной при вычислении показателя классификации для i-ой совокупности; xj - наблюдаемое значение для соответствующего образца для j-ой переменной. Величина Si является результатом показателя классификации.

Классификация наблюдений

Как только вы вычислили показатели классификации для наблюдений, легко решить, как производить классификацию наблюдений. В общем случае наблюдение считается принадлежащим той совокупности, для которой получен наивысший показатель классификации.

Расстояние Махаланобиса. Расстояние Махаланобиса является мерой расстояния между двумя точками в пространстве, определяемым двумя или более коррелированными переменными.