Метод максимального правдоподобия
Определение.
Оценкой максимального правдоподобия называется величина
Плотность
рассматриваемая при фиксированном
как функция
называется функция правдоподобия
и обозначается
.
Т.е.
Оценки, построенные по методу максимального правдоподобия, обладают рядом важных свойств.
Например, используя критерий факторизации, легко доказать, что оценка максимального правдоподобия является функцией любой достаточной статистики.
Так же очевидно, что
если
- взаимно однозначная функция, то оценки
максимального правдоподобия для
и
связаны соотношением
.
Асимптотические свойства оценок максимального правдоподобия изложены в дальнейшем.
Улучшение оценок
Наличие достаточной статистики позволяет улучшать оценки, не являющиеся функцией этой статистики.
Теорема Рао-Блэкуэлла-Колмогорова
Теорема.
Пусть - несмещенная оценка и - достаточная статистика.
Тогда
Случайная величина
является
несмещенной оценкой
Доказательство.
Так как статистика
достаточная, то условное распределение
выборки и, следовательно, условное
математическое ожидание
не зависит от
и является оценкой. Далее, по свойству
условного математического ожидания
и 1) доказано.
Для доказательства 2) заметим, что, по неравенству Йенсена для условных математических ожиданий
Доказательство завершено.
Построение оптимальных оценок
Для ряда важных семейств можно построить оценки удовлетворяющие свойствам 1),3). Они называются несмещенные оценки с минимальной дисперсией.
Несмещенные оценки с минимальной дисперсией
Определение.
Оценка одномерного
параметра
называется несмещенной оценкой с
минимальной дисперсией, если
Сокращенно такую оценку называют НОМД.
Теорема о единственности НОМД.
Если НОМД существует, то она единственна почти наверное.
Доказательство.
Пусть
и
- две НОМД, тогда
тоже несмещена и по неравенству Коши-Буняковского
ее дисперсия
Так как оценки исходные оценки являются НОМД, то неравенство на самом деле является равенством и оценки и почти наверное линейно связаны (опять неравенство Коши-Буняковского). Так как они несмещены, то они совпадают почти наверное.
Доказательство завершено.
Всегда ли существует НОМД?
Пусть
-семейство пуассоновских распределений
с параметром
,
и требуется оценить величину
.
Тогда, если бы несмещенная оценка
существовала, то она бы удовлетворяла
условию
что очевидно, невозможно, так как справа стоит бесконечно дифференцируемая, а слева разрывная в нуле функция по .
Построение НОМД с помощью полной достаточной статистики.
Если существует
несмещенная оценка
параметра
и полная достаточная статистика
,
то по теореме Рао-Блэкуэлла-Колмогорова
получаем, что оценка
является НОМД.
Пример.
Нетрудно показать,
что максимальное наблюдение
является полной достаточной статистикой
для параметра
в выборке из распределения
.
Действительно, если
то, очевидно,
почти всюду по мере Лебега.
Для проверки полноты достаточной статистики часто можно использовать следующую теорему.
Теорема о полноте для экспоненциального семейства распределений
Пусть плотность распределения семейства можно представить в следующем виде
где все функции измеримы и образ отображения
содержит s – мерный параллелепипед.
Тогда статистика
является полной достаточной статистикой
для семейства
Доказательство этой теоремы опускаем.
В частности из этой теоремы следует, что среднее арифметическое является НОМД математического ожидания для нормального распределения