5.2. Статистические методы оценивания

Оцениванием называют процедуру определения оценки - приближенной величины - искомого параметра. Для оценивания, например, параметра  по ряду наблюдений необходимо выполнить вычисления, используя эти наблюдательные данные. Запишем эту процедуру следующим образом:

.

Функцию называют статистикой, крышка над -обозначением параметра будет обозначать оценку.

Оценку называют несмещенной, если она не содержит систематической ошибки, т.е. , где треугольные скобки, как и прежде, обозначают осреднение по “бесконечному ансамблю реализаций”.

Как правило, несмещенная оценка не единственная, их может быть бесконечное множество. Возникает задача выбора наилучшей из этих оценок. Кажется естественным отобрать ту из них, которая имеет минимальную дисперсию погрешности

.

Вычисление этого условия с учетом условия несмещенности часто приводит к однозначности решения.

5.2.1. Линейная оценка параметра

Рассмотрим следующую задачу. Требуется определить наилучшую в средне-квадратическом смысле оценку параметра Х, значения которого заданы рядом прямых наблюдений . Линейной оценкой параметр Х будет равен линейной статистике

Эта оценка будет несмещенной, если , другими слова, если .

Поскольку - точные константы, их можно вынести за скобки осреднения

.

Примем гипотезу о случайности погрешностей измерений. Если содержат лишь случайную ошибку, то средние их значения равны точному, т.е.

.

Теперь условие несмещенности принимает вид

, или при Х0 .

Это и есть условие несмещенности линейной оценки. Таким образом, имеем одно уравнение для определения n неизвестных. Число решений - бесконечно, вернее , где (n-1) - число степеней свободы выбора коэффициентов . Действительно, если (n-1) коэффициентам задать любые произвольные значения, то последний коэффициент определится однозначно

.

Воспользуемся теперь вторым условием - минимума дисперсии погрешности оценки. Рассмотрим два случая.

1) Наблюдения независимы и равноточны. В этом случае дисперсии ошибок всех наблюдений равны

.

Для независимых наблюдений дисперсия суммы равна сумме дисперсий. Поэтому

.

Вследствие равноточности имеем .

Теперь нам нужно найти минимум функции при условии, что . Поступим следующим образом. Определим через остальные коэффициенты и подставим в выражение для дисперсии :

,

.

Теперь задачу можно решить как задачу поиска абсолютного минимума: .

Отсюда ,

Итак, все коэффициенты равны одному и тому же числу. Легко понять, что это число 1/n. Таким образом,

.

Вывод: арифметическое среднее есть несмещенная и наилучшая в средне-квадратическом смысле оценка величины, полученная по равноточным и независимым наблюдениям.

2) Наблюдения независимы и неравноточны. Теперь будем считать, что каждое наблюдение содержит погрешности, дисперсии которых не обязательно равны. Пусть соответственно дисперсии погрешностей . Теперь дисперсия линейной оценки будет равна

Определим минимум при условии, что . Поступим по аналогии с предыдущими рассуждениями:

,

,

.

Поскольку , то получим уравнение . Полученное равенство говорит о том, что все произведения вида равны между собой и не зависят от индекса к. Кроме того, сумма должна равняться единице.

Пусть , где - некоторый нормировочный множитель, а - константа, имеющая размерность дисперсии. Отсюда

,

.

Обозначим , . Теперь определим : . Итак, .

Наилучшая линейная оценка в этом случае равна , где , .

Величины носят название веса наблюдения, ибо формула для определения аналогична той, которую применяют для вычисления центра тяжести, если “вес” точки с координатой будет равен . Постоянная может быть произвольной, так как ее выбор не влияет на оценку . Ее можно также интерпретировать как дисперсию наблюдения, вес которому мы приписываем равным единице (“дисперсия единицы веса”).