Теорема об апостериорном риске

Следующая теорема позволяет указать путь для вычисления байесовских оценок

Теорема (об апостериорном риске)

Доказательство.

Доказательство завершено.

Случайная величина

называется апоcтериорным риском (a posteriori = после опыта) решающего правила .

Условная плотность

называется апостериорной плотностью .

Вычисление байесовских оценок при квадратичной функции потерь

Если параметр одномерен и функция потерь квадратична, т.е.

то для байесовского решения можно выписать простое представление

Доказательство следует из того, что по выражение

представляет собой квадратный трехчлен.

Пример

Пусть вектор данных представляет собой выборку из распределения и априорное распределение параметра также нормальное . Тогда апостериорная плотность нормальна и

Минимаксный подход

В минимаксном подходе предлагается застраховаться от больших потерь. Именно

Определение

Решающее правило называется минимаксным решающим правилом если

Поиск минимаксного решающего правила обычно более труден, чем поиск байесовского в той же задаче. Однако в ряде случаев байесовская оценка является также и минимаксной.

Минимаксность байесовских решений

Теорема (минимаксность байесовских оценок)

Пусть - байесовская оценка и

Тогда

Доказательство.

Для любой другой оценки

Доказательство завершено.

Пример.

Пусть вектор данных представляет собой выборку из распределения . Тогда, если выбрать априорное распределение параметра бета распределением , то апостериорная плотность также будет бета плотностью и решение задачи на определение параметров таких, что

приводит к значениям

и минимаксная оценка имеет вид

Проверка статистических гипотез

В ряде случаев необходимо выбрать, какому из двух или нескольких предположений относительно семейства лучше соответствуют данные.

Основные понятия теории проверки статистических гипотез

Пусть относительно семейства есть два предположения (две гипотезы)

и

В математической статистике принято называть эти предположения гипотезами и обозначать так

Гипотезу обычно называют основной гипотезой, а гипотезу - альтернативной гипотезой (или, короче, альтернативой).

Критерием проверки гипотезы называют отображение

указывающее номер (истинной) гипотезы в зависимости от данных.

С точки зрения теории статистических решений, на первый взгляд, задача проверки статистических гипотез это задача с двумя возможными решениями и критерий есть просто решающее правило в такой задаче. Обозначим его . Однако, так как каждое из семейств и может содержать больше одного распределения, то при определении потерь должно учитываться, какое из распределений реализовалось в опыте (истинно) и какое семейство выбрано с помощью критерия.

Множество называется критическим множеством или критической областью.

Гипотезы, семейства которых содержат только одно распределение, называются простыми, в противном случае – сложными. Начнем с простейшего случая двух простых гипотез.

Проверка двух простых гипотез

Если обе гипотезы простые, т.е. и , содержат по одной вероятностной мере, соответственно, и , то естественной функцией потерь является следующая

т.е. потери равны нулю, если ошибки нет, и равны единице, если ошибка есть.

Ошибка

,

традиционно называется ошибка первого рода

Ошибка

,

называется ошибка второго рода

Функция риска принимает для каждого критерия два значения

и

которые называются вероятностями ошибки первого и второго рода, соответственно. Величину называют также объемом или уровнем значимости критерия , величину - мощностью критерия . Наиболее просто получить решение задачи различения двух простых гипотез в байесовской постановке.