Эффективные оценки
В ряде случаев НОМД можно построить, исследуя отображение
,
с точки зрения его информативности, –
сколько информации о параметре содержит
наблюдение c распределением
?
Регулярные семейства распределений
Однопараметрическое семейство распределений назовем регулярным, если выполнены условия
Плотность
дважды непрерывно дифференцируема по
Для любой несмещенной оценки
Свойства 2) и 3)
выполняются, например, если можно менять
местами интеграл по
и производную по
.
Действительно
Все ли семейства регулярны?
Семейство нерегулярно – нарушено 2).
Теорема (Неравенство Рао-Крамера).
Пусть семейство регулярно, тогда для любой несмещенной оценки выполнено неравенство
Доказательство.
Доказательство следует из неравенства Коши-Буняковского
Доказательство завершено.
Неравенство Рао-Крамера определяет нижнюю границу дисперсии для регулярных семейств
Определение.
Несмещенная оценка называется эффективной, если
Если оценка эффективна, то она НОМД. Обратное, вообще говоря, неверно.
Неравенство Коши-Буняковского превращается в равенство только при наличии линейной связи между функциями. Это позволяет дать простой критерий эффективности оценки: несмещенная оценка эффективна тогда и только тогда, когда
Информация по Фишеру.
Величина
называется информацией по Фишеру,
содержащейся в наблюдении
относительно параметра
.
В классической статистической модели
(или более общо в любой выборке)
информация по Фишеру (если она существует)
пропорциональна количеству наблюдений:
Величину
называют информацией по Фишеру,
содержащейся в одном наблюдении.
Заметим, что
Состоятельность и асимптотическая нормальность оценок
Если данные представляют собой выборку , то появляется возможность исследовать поведение оценок при увеличении размера выборки n. В этом случае естественно ожидать повышения точности оценок с ростом n.
Асимптотическая нормальность оценок, полученных методом подстановки
Условия состоятельности оценок, построенных по методу подстановки, были получены ранее. Получим условия асимптотической нормальности этих оценок.
Теорема.
Пусть
,
функция
непрерывно дифференцируема и существуют
и
,
тогда
Доказательство.
По центральной предельной теореме, формуле Ньютона, свойствам сходимости по вероятности и слабой сходимости получаем
Доказательство завершено.
Состоятельность и асимптотическая нормальность оценок, полученных методом максимального правдоподобия
Для регулярных семейств можно получить условия состоятельности оценок и асимптотической нормальности оценок максимального правдоподобия.
Теорема.
Пусть оценка максимального
правдоподобия
единственна. Тогда она состоятельна и
если семейство
регулярно, плотность
трижды непрерывно дифференцируема по
и существует интегрируемая случайная
величина
,
такая что
Доказательство.
Состоятельность.
Так как
- единственная точка максимума функции
то
Используя неравенство
Йенсена, строгую выпуклость функции
и закон больших чисел, получаем что при
Асимптотическая
нормальность.
По формуле Ньютона,
примененной к функции
, с учетом того, что
откуда
По центральной
предельной теореме, используя определение
По закону больших чисел, используя соотношение
получаем
Используя свойства сходимости по вероятности и слабой сходимости, учитывая, что
получаем
Доказательство завершено.
Заметим, что дисперсия предельного нормального закона совпадает с нижней границей дисперсии в неравенстве Рао-Крамера. Это дает повод назвать оценку максимального правдоподобия (в условиях теоремы) асимптотически эффективной.