11. Понятие эффективной оценки. Утверждение о функции правдоподобия и эффективной оценке. Линейные преобразования эффективных оценок.
Определение 3.9.
Оценка называется эффективной оценкой , если
1) является несмещенной оценкой :
,
2) дисперсия оценки
совпадает с нижней границей Рао-Крамера:
.
Утверждение 3.10.
Пусть выполняются условия теоремы 3.4, тогда
1) если
является эффективной оценкой
,
то функция правдоподобия
имеет вид
,
где
,
и
некоторые функции.
2) если функция правдоподобия имеет вид
,
тогда
является эффективной оценкой
.
Доказательство:
1) Пусть является эффективной оценкой, тогда согласно определению 3.9:
,
где . Согласно следствию 3.5 из этого равенства следует, что:
,
поскольку по определению , то
,
тогда:
.
Предполагая, что существуют интегралы от левой и правой частей, проинтегрируем по :
,
потенцируя получим:
,
где
,
.
2) Пусть функция правдоподобия имеет вид:
,
логарифмируя и дифференцируя левую и правую часть по , отсюда получим:
,
,
,
,
отсюда в силу
следствия 3.5 для дисперсии
получим равенство:
,
где
,
тогда по определению оценка
является эффективной.
Утверждение доказано.
Утверждение 3.10 оказывается очень полезным, поскольку в большинстве случаев функция правдоподобия легко выписывается исходя из условий рассматриваемой задачи. Если при этом функция правдоподобия является экспонентной:
,
то
при выполнении некоторых условий из
утверждения 3.10 непосредственно следует,
что
является эффективной оценкой величины
.
Заметим, что если выполнены условия
теоремы 3.4 и существует эффективная
оценка для
,
то существуют эффективные оценки для
функций вида
,
где
и
действительные числа. Действительно,
если
эффективная оценка
,
тогда в силу следствия 3.5:
,
,
где
.
Преобразуя последнее равенство, получим:
,
,
где
,
,
.
В силу следствия 3.5 отсюда следует, что
является эффективной оценкой
.
12. Понятие достаточной статистики и теорема о критерии факторизации. Два следствия из теоремы о критерии факторизации.
Определение 3.11.
Статистика
называется достаточной для параметра
,
если условная плотность вероятности
(или условная вероятность в дискретном
случае)
случайного вектора
при условии
не зависит от параметра
.
Теорема 3.12. (критерий факторизации)
Пусть – наблюдение и – функция правдоподобия вектора . Статистика является достаточной для параметра тогда и только тогда, когда функция правдоподобия имеет вид:
,
где
и
некоторые функции.
Доказательство:
Рассмотрим доказательство для только для случая, когда все случайные величины ( ) дискретны.
1) Пусть статистика является достаточной для параметра , покажем, что:
.
Функция
правдоподобия
равна вероятности события
:
.
Рассмотрим
событие
.
Легко видеть, что если при некотором
выполняются равенства
,
...,
,
то при этом же
выполняется равенство
,
поэтому, очевидно:
откуда
следует, что совместное наступление
событий
и
есть событие
:
то есть,
.
Отсюда следует равенство для вероятностей событий:
Вероятность справа представим по формуле умножения как произведение условной и безусловной вероятностей:
Условная вероятность, есть условное распределение вектора при условии :
.
Поскольку статистика является достаточной для параметра , то функция не зависит от параметра и может зависеть только от , ..., :
.
Безусловная вероятность
очевидно зависит от величины
и, возможно, от параметра
:
.
Таким образом, для функции правдоподобия получим:
.
2) Пусть имеет место разложение , покажем, что в этом случае статистика достаточна для параметра , то есть условная вероятность не зависит от параметра . По определению условной вероятности:
Если
,
то вероятность, стоящая в числителе
равна нулю независимо от значения
параметра
.
В точке
:
.
Таким образом,
.
Выражение, стоящее справа, очевидно, не зависит от параметра , поэтому условная вероятность не зависит от параметра , и следовательно статистика достаточна для параметра .
Теорема доказана.
Следствие
Пусть выполнены условия теоремы 3.4 и – эффективная оценка, тогда – статистика достаточная для параметра .
Действительно, при выполнении условий теоремы 3.4 согласно утверждению 3.10 имеет место следующая факторизация функции правдоподобия:
.
Положим,
и
,
тогда:
,
и по теореме 3.12 статистика является достаточной для параметра .
Таким образом, при выполнении некоторых условий эффективная оценка является достаточной статистикой. К сожалению, обратное не всегда верно: достаточная статистика не обязательно является эффективной оценкой.
Следствие
Пусть – статистика, достаточная для параметра и – статистика, через которую можно выразить статистику , то есть,
,
тогда статистика тоже достаточна для параметра .
Действительно, если – статистика, достаточная для параметра , то по теореме 3.12 для функции правдоподобия получим факторизацию:
,
подставляя сюда выражение статистики , через статистику ,
,
получим факторизацию:
,
откуда по теореме 3.12 (в обратную сторону) статистика является достаточной для параметра .