7.3. Метод наибольшего правдоподобия и метод моментов нахождения оценок параметров

Один из важнейших методов отыскания оценок параметров по данным выборки (метод наибольшего правдоподобия) был предложен Р. Фишером. Этот метод состоит в том, что для получения оценки неизвестного параметра нужно найти такое значение , при котором вероятность реализации случайного вектора (X₁, Х₂, ..., Х_n) (выборки) была бы максимальной. С этой целью "строится" функция, определяющая вероятность получения выборки , и находится точка максимума этой функции, которая и является оценкой неизвестного параметра.

Пусть случайный эксперимент описывается непрерывной случайной величиной X, плотность распределения вероятностей р(х, ) которой содержит неизвестный параметр . Тогда вероятность получения при n независимых наблюдениях величины X выборки всегда равна нулю, так как плотность распределения вероятностей случайного вектора (X₁, Х₂, ..., Х_n) с независимыми составляющими , вероятностей имеет вид

(7.2)

А вероятность отдельного значения непрерывной случайной величины равна нулю. Поэтому рассматривается вероятность попадания выборки в n-мерный параллелепипед с центром ( ) и ребрами :

(7.3)

и находится максимальное значение этой вероятности. Точка максимума вероятности (7.3) является точкой максимума функции (7.2). Функция называется функцией правдоподобия, а величина , являющаяся точкой максимума этой функции, оценкой, полученной методом наибольшего правдоподобия.

Таким образом, функция правдоподобия для непрерывной случайной величины X определяется плотностями вероятностей наблюдаемой выборки , где — плотность распределения вероятностей определенного вида (плотность вероятностей нормального, показательного распределений и т.д.) при х= x_i .

Пусть X — дискретная случайная величина, заданная частотным рядом распределения (табл. 7.1):

Таблица 7.1

			…
			…

с неизвестным параметром — вероятностью появления события которую обозначим при фиксированном значении параметра .

Тогда вероятность того, что составляющие случайного вектора (X₁, Х₂, ..., Х_k) примут значения , причем значение встречалось m_i раз, вычисляется по формуле

(7, 4)

Функция, определяемая соотношением (7.4), называется функцией правдоподобия дискретной случайной величины X. Величина , являющаяся точкой максимума этой функции, называется оценкой неизвестного параметра , полученной по методу наибольшего правдоподобия. Пусть функция правдоподобия дифференцируема по и при любых возможных значениях , достигает максимума по в интервале возможных значений . Тогда, согласно известным правилам дифференциального исчисления, оценку неизвестного параметра распределения случайной величины X находят, решая уравнение

(7.5)

или систему уравнений

(7.6)

если требуется оценить r неизвестных параметров.

Так как точки максимума функций и совпадают, иногда удобнее вместо уравнений (7.5) и (7.6) решать уравнение

или систему уравнений

Приведем примеры функций правдоподобия для конкретных распределений случайной величины X.

1. Если X распределена нормально, то для нахождения оценок параметров m и σ используется функция правдоподобия

,

где , — наблюденные значения случайной величины X.

2. Если X имеет показательное распределение, то для нахождения оценки параметра λ функцию правдоподобия определяют по формуле

,

где , — наблюденные значения случайной величины X.

3. Если дискретная случайная величина X имеет распределение Пуассона , где , то для оценки параметра по результатам наблюденных значений, указанных в табл. 7.1, , используется функция правдоподобия

4. Если дискретная случайная величина X имеет биномиальное распределение , то для оценки вероятности р появления события в каждом испытании по результатам наблюденных значений (см. табл. 7.1) рассматривается функция правдоподобия

Использование метода наибольшего правдоподобия приводит иногда к решению сложных систем уравнений, хотя в результате получаем состоятельные (иногда немного смещенные) оценки (смещение оценок устраняется введением поправок). Если существует эффективная оценка, то ее можно найти с помощью этого метода. Оценки наибольшего правдоподобия асимптотически эффективны и имеют асимптотически нормальное распределение.

Пример 7.1. Производится n независимых испытаний, в каждом из которых событие А может произойти с вероятностью р. Известно, что событие Α появилось в m испытаниях. Требуется оценить вероятность р появления события А в каждом испытании.

Р е ш е н и е. Рассмотрим дискретную случайную величину X - число появлений события А в одном испытании. Ее распределение вероятностей задается таблицей

	1	0
	p	1- p

где X = 1 - событие А появилось в рассматриваемом испытании; X = 0 — событие А не появилось в рассматриваемом испытании. Неизвестный параметр — вероятность р — входит в распределение вероятностей дискретной случайной величины X.

Выборка — набор из чисел нуль и единица, причем единица встречается m раз, нуль – n-m раз.

Согласно формуле (7.4), функция правдоподобия имеет вид

или

Дифференцируя по параметру р, получаем уравнение

,

откуда находим единственное решение .

Таким образом, оценкой наибольшего правдоподобия вероятности события служит его относительная частота в n независимых испытаниях.

Относительная частота является: 1) несмещенной оценкой, так как ; 2) состоятельной оценкой, так как, согласно закону больших чисел в форме Бернулли, ; 3) асимптотически нормальной оценкой в силу теоремы Муавра-Лапласа.

Метод моментов заключается в том, что статистические моменты выборки (формулы (6.7) и (6.8)) принимаются в качестве оценок для моментов распределения случайной величины X, зависящих от неизвестных параметров. В свою очередь оцениваемые параметры могут быть выражены в виде определенных функций теоретических моментов. Заменяя теоретические моменты их оценками, т.е. статистическими моментами выборочного распределения, получаем оценки параметров. Заметим, что этот метод отличается простатою, хотя иногда приводит к малоэффективным и смещенным оценкам, т.е. оценки, найденные с помощью этого метода, не являются наилучшими из возможных.

Например, пусть случайная величина X распределена по экспоненциальному закону с плотностью вероятностей , содержащей неизвестный параметр . Вычислив начальный момент первого порядка

и статистический начальный момент первого порядка

и приравнивая значения этих двух моментов, получим , откуда , т.е. оценку нашли, решив уравнение .

Вопросы для самопроверки

1. В чем суть метода наибольшего правдоподобия?

2. Как составляется функция правдоподобия для непрерывной (дискретной) случайной величины?

3. Чем является оценка для функции правдоподобия?

4. Запишите выражение функций правдоподобия для случайных величин, подчиненных различным законам распределения: биномиальному, Пуассона, нормальному, показательному.

5. Сформулируйте смысл метода моментов для определения оценок неизвестных параметров.