Дополнение 1. Метод моментов

Выше мы рассмотрели методы оценки числовых характеристик генеральной совокупности, не привязываясь к какой-либо функции распределения. Однако для полного описания генеральной совокупности нужно знать ее функцию распределения. Если известен вид функции распределения, то остается оценить только ее параметры. Для определения используются различные методы. Один из них – метод моментов, который заключается в следующем. Определяются выборочные моменты (например, математическое ожидание, дисперсию) в количестве, равном числу оцениваемых параметров, и приравниваются соответствующим теоретическим моментам распределения, являющихся функциями от неизвестных параметров.

Пример 3.16. Найти методом моментов оценки параметров a и  нормального распределения:

.

Решение. Для отыскания двух параметров необходимо иметь два уравнения относительно этих параметров. Следуя методу моментов, приравняем, например, начальный теоретический момент 1-го порядка (математическое ожидание): эмпирическому моменту 1-го порядка (среднему значению): , а также центральный теоретический момент 2-го порядка (дисперсию): центральному моменту 2-го порядка (исправленной выборочной дисперсии): . В результате получаем два уравнения:

, ,

из которых и находим искомые оценки. 

Пример 3.17. Найти методом моментов оценку параметра  распределения Пуассона:

,

где , >0.

Решение. Задачу решим двумя способами.

а) Сравним начальные моменты 1-го порядка, т.е. математические ожидания: Поскольку для распределения Пуассона , то получим

.

б) Сравним начальные моменты 2-го порядка. Для распределения Пуассона , тогда . Тогда

.

Оценки разные. По смыслу параметра распределения Пуассона лучше предпочесть первую оценку.

Как мы видим, неопределенность выбора начальных моментов приводит к получению различных оценок для одного и того же параметра. Однако метод моментов, как правило, приводит к состоятельным оценкам. Это означает, что при достаточно больших выборках различие между разными оценками будет незначительным. Недостаток метода моментов заключается в том, что его оценки (за редким исключением) – неэффективны. Поэтому метод моментов используется на практике только как первое приближение, основываясь на которых можно получить более эффективные оценки. Популярность метода моментов состоит в том, что уравнения метода моментов во многих случаях являются достаточно простыми и их решение не связано большими математическими трудностями. 

Дополнение 2. Метод максимального правдоподобия

Как мы видели, разные методы оценивания одних и тех же параметров распределения могут давать разные результаты. Когда есть несколько путей к одной цели, естественно, хочется выбрать наилучший. При определенных ограничениях таким методом является метод максимального правдоподобия, основанный на оптимальном использовании имеющейся в выборке информации о параметрах распределения.

Пусть X₁, X₂, …, X_n возможные результаты независимых наблюдений случайной величины X. Это означает, что X₁, X₂, …, X_n – независимые случайные величины, причем закон распределения любой из них совпадает с законом распределения величины X. Допустим, что вид распределения величины X задан, но неизвестен параметр , которым определяется этот закон. Введем функцию

, (3.13)

где в случае исходного непрерывного распределения интерпретируется как плотность распределения случайной величины X_i, а дискретном случае – как вероятность того, что случайная величина X_i примет значение x_i. Функцию от случайных величин X_i, рассматриваемую как функцию параметра , называют функцией правдоподобия.

Оценкой метода максимального правдоподобия (ММП-оценкой) параметра  называется такое значение , при котором функция правдоподобия достигает наибольшего возможного значения:

.

Известно, что точка максимума не изменится, если вместо L() использовать lnL(). Тогда, в соответствии с необходимым условием экстремума функции, получим следующие уравнения правдоподобия:

, (3.14)

для нахождения оценки параметра .

Пример 3.18. Найти методом максимального правдоподобия оценки параметров a и  нормального распределения.

Решение. Согласно формуле (3.13), функция правдоподобия для нормального распределения будет иметь вид

.

Логарифмируя ее, получим

.

Найдем частные производные по a и :

, .

Приравнивая частные производные нулю, получим систему уравнений:

Из этих уравнений находим:

и .

Установлено, что оценка является состоятельной, несмещенной и эффективной оценкой параметра a, а оценка – состоятельной, смещенной и асимптотически эффективной оценкой параметра ². 

Пример 3.19. Найти методом максимального правдоподобия оценку параметра  распределения Пуассона.

Решение. Логарифмическая функция правдоподобия в данном случае, построенная по выборке x₁,x₂,…,x_n, будет иметь вид

.

Отсюда после дифференцирования по  получаем уравнение максимального правдоподобия

.

Отсюда

.

Установлено, что эта оценка является состоятельной, несмещенной и эффективной оценкой параметра . 

Показано, что ММП-оценки являются состоятельными, асимптотически несмещенными, асимптотически нормальными и асимптотически эффективными. Все это сделало метод максимального правдоподобия весьма популярным. Было открыто, что для многих задач самой различной статистической природы ММП дает хорошие результаты. Единственная трудность состоит в сложности решения уравнений правдоподобия (3.14). Поэтому очень долгое время ММП применялся только для теоретических расчетов. Однако в настоящее время в современные статистические пакеты для ЭВМ начинают включать методы ММП, что сильно упрощает практическое использование ММП.

Не следует думать, что ММП-оценки будут наилучшими во всех ситуациях. Во-первых, их хорошие свойства проявляются часто лишь при очень больших объемах выборки (т.е. являются асимптотическими), так что при малых n с ними могут конкурировать (и даже превосходить их) другие методы. Во-вторых, и это, пожалуй, главное «узкое место» данного подхода, для построения ММП-оценок и обеспечения их хороших свойств необходимо точное знание типа анализируемого закона распределения f(x;), что в большинстве случаев оказывается практически нереальным. Часто бывает так, что при определенных, хотя и небольших, отклонениях реального распределения от принятого распределения f(x;), оценки могут резко терять свои «хорошие» свойства. В связи с этим, в последние годы развиваются т.н. робастные, или устойчивые, методы оценивания, позволяющие находить оценки, хотя и не являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого. И, в-третьих, ММП-оценки могут не быть даже состоятельными, если число оцениваемых по выборке параметров велико (имеет тот же порядок, что и объем выборки) и растет с увеличение числа наблюдений.