10.2. Метод максимального правдоподобия

Метод максимального правдоподобия является одним из наиболее распространенных методов нахождения оценок неиз­вестных параметров распределения генеральной совокупности. Пусть Х- непрерывная случайная величина с плотностью распре­деления f_x(x, θ), зависящей от неизвестного параметра θ, значе­ние которого требуется оценить по выборке объема п. Плотность распределения выборочного вектора (Х₁,Х₂,...,Х_n) можно записать в виде .

Пусть х₁,х₂,...,х_n - выборка наблюдений случайной величины X, по которой находится оценка неизвестного параметра.

Функцией правдоподобия L(θ) выборки объема п называет­ся плотность выборочного вектора, рассматриваемая при фикси­рованных значениях переменных х₁,...,х_п. Функция правдоподо­бия является, таким образом, функцией только неизвестного параметра θ, т.е. .

Аналогично определим функцию правдоподобия выборки дискретной случайной величины X. Пусть Х- дискретная случай­ная величина, причем вероятность Р[Х = х]= р(х, θ) есть функ­ция неизвестного параметра θ. Предполагая, что для оценки па­раметра θ получена конкретная выборка наблюдений случайной величины X объема п: х₁,...,х_п. Функция правдоподобия L(θ) вы­борки объема п равна вероятности того, что компоненты выбо­рочного вектора Х₁,...,Х_n примут фиксированные значения х₁,...,х_п, т.е. .

Метод максимального правдоподобия состоит в том, что в качестве оценки неизвестного параметра θ принимается значение , доставляющее максимум функции правдоподобия. Такую оценку называют МП - оценкой. В случае дискретного распреде­ления наблюдаемой случайной величины X МП - оценка неиз­вестного параметра θ есть такое значение , при котором веро­ятность появления данной конкретной выборки максимальна. Аналогичную интерпретацию МП - оценки дают и в случае оценки параметра распределения непрерывной случайной величины.

Для упрощения вычислений, связанных с получением МП -оценок, в некоторых случаях удобно использовать логарифмиче­скую функцию правдоподобия, т.е. ln L(θ).

При выполнении некоторых достаточно общих условий МП - оценки состоятельны, асимптотически эффективны и асимпто­тически нормально распределены. Последнее означает, что при увеличении объема выборки п для МП - оценки неизвестного параметра θ выполняется условие .

Если для параметра θ существует эффективная оценка, то метод максимального правдоподобия дает именно эту оценку и другой МП - оценки не существует.

Пример 40. Найти МП - оценки математического ожидания т и дисперсии σ² нормально распределенной генеральной сово­купности.

Решение. Пусть х₁,х₂,...,х_п - выборка наблюдений случай­ной величины X с плотностью распределения

.

Найдем функцию правдоподобия L(m, σ²). Имеем

.

Логарифмическая функция правдоподобия отсюда равна

.

Используя необходимые условия максимума , по­лучим систему уравнений для нахождения искомых МП - оценок:

,

.

Из первого уравнения этой системы находим .

Подставляя полученное значение во второе уравнение, будем иметь .

Отметим, что выборочное среднее является несмещенной и состоятельной оценкой т (см. пример 38), а также эффективной оценкой в случае нормально распределенной генеральной сово­купности (убедитесь в этом самостоятельно). Выборочная диспер­сия является состоятельной и смещенной оценкой σ².

Пример 41. Найти МП - оценку параметра X распределе­ния Пуассона.

Решение. Пусть х₁,...,х_п - выборка наблюдений случайной величины X, имеющей распределение Пуассона с неизвестным параметром X, т.е.

,

где х принимает неотрицательные целочисленные значения, х = 0,1,2. Функция правдоподобия L(λ) выборки объема п определяется так: .

Найдем логарифмическую функцию правдоподобия:

.

Используя необходимое условие экстремума, получим урав­нение для определения МП-оценки:

.

Отсюда следует, что .

Полученная МП - оценка является несмещенной и состоя­тельной оценкой λ (пример 38), а также эффективной оценкой этого параметра.