Критерии сравнения работы классификаторов

В дополнение к параметрам, основанным на точности, классификаторы могут быть сравнены по следующим параметрам.

Скорость работы – другими словами вычислительные затраты, связанные с обучением и применением данного классификатора.

Ошибкоустойчивость, робастность – возможность классификатора делать правильные предсказания на зашумленных данных или данных с пропущенными значениями. Данный параметр обычно оценивается при помощи синтетических наборов данных с внесенными шумами и потерянными значениями атрибутов.

Масштабируемость – возможность строить эффективный классификатор на больших выборках. Данный параметр оценивается при помощи увеличиваемых наборов данных.

Интерпретируемость – уровень понимания и возможности проникнуть в суть данных, которые предоставляет классификатор. Интерпретируемость является субъективным параметром и поэтому его трудно оценить. Деревья решений и классификационные правила могут быть легко интерпретированы, однако их интерпретируемость уменьшается с их усложнением.

Интерпретация результатов классификации в weka (Classifier output)

Секция «Run information» содержит следующую информацию:

– метод классификации (scheme);

– название набора данных, на котором проводилось обучение классификатора (relation);

– количество экземпляров в исходной выборке (instances);

– атрибуты, характеризующие объекты выборки (attributes);

– сведения о тестовой выборке (test mode).

Секция «Classifier model» представляет параметры настроенного классификатора и время, потребовавшееся для построения модели. В зависимости от типа классификатора данная область будет содержать различную информацию:

– для алгоритмов, строящих правила, будут отражены полученные правила;

– для байесовских классификаторов будут перечислены рассчитанные вероятности для всех возможных комбинаций атрибут-значение-класс;

– для классификаторов, основанных на построении деревьев, отображается текстовое представление полученного дерева; при этом в скобках напротив каждого листа будет указано количество экземпляров, которые к нему отнесены; если в лист попадают экземпляры нескольких классов, через слеш будет указано количество экземпляров, которые относятся к примесям;

– для функциональных методов выводятся значения коэффициентов построенной функциональной модели;

– для метода k ближайших соседей отображаются настройки классификатора.

Секция «Predictions» будет отображена, если в настройках тестирования классификатора выбрана опция «Output predictions». В ней для всех экземпляров тестовой выборки будут отображены результаты классификации, полученные при помощи обученного классификатора.

Секция оценки построенной модели «Evaluation» содержит несколько подпунктов.

«Summary» содержит общую статистику работы классификатора:

– количество и процент правильно и неправильно классифицированных экземпляров (Correctly Classified Instances, Incorrectly Classified Instances), общее количество экземпляров (Total Number of Instances);

– параметр Каппа (Kappa statistic);

– статистические параметры ошибки классификации (Mean absolute error, Root mean squared error, Relative absolute error, Root relative squared error);

«Detailed Accuracy By Class» содержит следующие параметры точности классификации по каждому из классов: TP Rate, FP Rate, Precision, Recall, F-Measure.

«Confusion Matrix» содержит матрицу ошибок.