2.5 Roc-анализ

Пусть имеется два класса: с положительным исходом и с отрицательным исходом. ROC-кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. В терминологии ROC-анализа первые называются истинно положительным, вторые – ложно отрицательным множеством. При этом предполагается, что у классификатора имеется некоторый параметр, варьируя который, мы будем получать то или иное разбиение на два класса. Этот параметр часто называют порогом, или точкой отсечения (cut-off value). В зависимости от него будут получаться различные величины ошибок I и II рода. Для понимания сути ошибок I и II рода рассмотрим Таблицу 2.1.

Таблица 2.1 Ошибки первого и второго рода

	Фактически
Моедель	Положительно	Отрицательно
Положительно	TP	FP
Отрицательно	FN	TN

TP (True Positives) – верно классифицированные положительные примеры (так называемые истинно положительные случаи);

TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи);

FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода). Это так называемый "ложный пропуск" – когда интересующее нас событие ошибочно не обнаруживается (ложно отрицательные примеры);

FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода); Это ложное обнаружение, т.к. при отсутствии события ошибочно выносится решение о его присутствии (ложно положительные случаи).

Для нашей задачи положительным исходом будет класс гребней (черные пиксели в для изображения), отрицательным исходом – класс впадин (белые пиксели).

При анализе чаще оперируют не абсолютными показателями, а относительными – долями, выраженными в процентах:

Доля истинно положительных примеров:

.

Доля ложно положительных примеров:

.

Введем еще два определения: чувствительность и специфичность модели. Ими определяется объективная ценность любого бинарного классификатора.

Чувствительность – это и есть доля истинно положительных случаев:

,

Специфичность – доля истинно отрицательных случаев, которые были правильно идентифицированы моделью:

,

Заметим, что .

Модель с высокой чувствительностью часто дает истинный результат при наличии положительного исхода (обнаруживает положительные примеры). Наоборот, модель с высокой специфичностью чаще дает истинный результат при наличии отрицательного исхода (обнаруживает отрицательные примеры). Если рассуждать в терминах нашей задачи:

• Чувствительный тест характеризуется максимальном предотвращении пропуска гребня;

• Специфичный тест диагностирует только истинные гребни. Это важно в случае, когда «гипердиагностика» не желательна.

ROC-кривая получается следующим образом:

1. Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx(например, 0.01) рассчитываются значения чувствительностиSeи специфичностиSp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке.

2. Строится график зависимости: по оси уоткладывается чувствительностьSe, по осихоткладываем величину(сто процентов минус специфичность), или, что то же самое, FPR – доля ложно положительных случаев.

Рис 2.10. ROC-кривая

Для идеального классификатора график ROC-кривой проходит через верхний левый угол, где доля истинно положительных случаев составляет 100% или 1.0 (идеальная чувствительность), а доля ложно положительных примеров равна нулю. Поэтому чем ближе кривая к верхнему левому углу, тем выше предсказательная способность модели. Наоборот, чем меньше изгиб кривой и чем ближе она расположена к диагональной прямой, тем менее эффективна модель. Диагональная линия соответствует "бесполезному" классификатору, т.е. полной неразличимости двух классов.