7. Статистическое оценивание

По результатам выборочных наблюдений вычисляются статистические характеристики: средние значения (среднее арифметическое, медиана, мода); меры рассеивания (статистическая дисперсия, стандартная ошибка, вариационный размах, среднее линейное отклонение, коэффициент вариации) и т.д. По величине этих характеристик делают вывод о соответствующих параметрах генеральной совокупности. В этой связи возникает проблема оценки параметров генеральной совокупности.

7.1. Точечное оценивание

Как известно, выборка является реализацией случайного вектора (X₁, Х₂. ..., Х_n). Это значит, что каждая числовая характеристика выборки есть реализация случайной величины, которая от выборки к выборке может принимать различные значения и, следовательно, сама является случайной. Такую случайную величину называют выборочной функцией или статистикой и обозначают . Эта запись выражает зависимость выборочной функции от случайных компонент , вектора (X₁, Х₂. ..., Х_n). Например, выборочными функциями являются среднее арифметическое , статистическая дисперсия , мода , медиана .

Так как выборочная статистика (в дальнейшем просто статистика) величина случайная, то она имеет закон распределения, зависящий от закона распределения случайной величины X в генеральной совокупности.

Пусть требуется подобрать распределение для исследуемой случайной величины X по выборке , извлеченной из генеральной совокупности с неизвестной функцией распределения F(x). Выбрав распределение (нормальное, биномиальное, показательное или др.), исходя из анализа выборки (например, по виду гистограммы или по виду полигона относительных частот), мы по данным выборки должны оценить параметры соответствующего распределения. Например, для нормального распределения нужно оценить параметры m и σ; для распределения Пуассона - параметр λ и т.д.

Решение вопросов о "наилучшей" оценке неизвестного параметра и составляет теорию статистического оценивания.

Выборочная чистовая характеристика, применяемая для получения оценки неизвестного параметра генеральной совокупности, называется точечной оценкой.

Например, X — среднее арифметическое, может служить оценкой математического ожидания М(Х) генеральной совокупности . В принципе для неизвестного параметра может существовать много числовых характеристик выборки, которые вполне подходящие для того, чтобы служить оценками. Например, среднее арифметическое, медиана, мода могут показаться вполне приемлемыми для оценивания математического ожидания М(Х) совокупности. Чтобы решить, какая из статистик в данном множестве наилучшая, необходимо определить некоторые желаемые свойства таких оценок, т.е. указать условия, которым должны удовлетворять оценки.

Такими условиями являются: несмещенность, эффективность и состоятельность.

Определение 7.1. Если , то называется несмещенной оценкой .

В других случаях говорят, что оценка смещена.

Несмещенность оценки означает, что если использовать эту оценку, то в одних случаях может получиться, что мы завышаем искомый параметр совокупности, в других — занижаем. Однако в среднем мы будем "попадать в цель".

Так, например, несмещенной оценкой для математического ожидания М(X)=а случайной величины X является средняя арифметическая . Действительно, =

, так как результаты выборки рассматривают как n независимых случайных величин X₁, Х₂, ..., Х_n , каждая из которых распределена по тому же закону, что и случайная величина X.

Если существует больше одной несмещенной оценки, то выбирают более эффективную оценку, т.е. ту, для которой величина второго момента меньше.

Определение 7.2. Оценка называется более эффективной, чем оценка , если .

Если обозначить через смещение оценки, то ,так как

Поэтому более эффективной оценкой будем считать ту несмещенную оценку, которая имеет меньшую дисперсию.

В частности, средняя арифметическая является наиболее эффективной оценкой математического ожидания М(Х)= , так как

Все другие оценки М(Х) будут обладать большими дисперсиями. Например, .

Минимальную величину среднеквадратической погрешности оценивают, используя неравенство Рао—Крамера

где — смещение оценки; n— объем выборки; функция

носит название информации Фишера. Любая несмещенная оценка , для которой , удовлетворяет неравенству

Таким образом, наименьшее возможное значение среднеквадратических отклонений отлично от нуля и определяется правыми частями приведенных выше неравенств.

При использовании той или иной оценки желательно, чтобы точность оценивания увеличилась с возрастанием объема производимой выборки. Предельная точность будет достигнута в том случае, когда численное значение оценки совпадает со значением параметра при неограниченном увеличении объема выборки. Такие оценки будем называть состоятельными.

Определение 7.3. Оценка называется состоятельной оценкой , если при n→∞ она сходится по вероятности к , т.е. если .

Например, средняя арифметическая является состоятельной оценкой математического ожидания М(Х) совокупности, так как, согласно закону больших чисел, .

Кроме указанных свойств оценок существуют и другие, с которыми можно познакомиться в учебнике [2] .

Наконец, при построении оценки должна использоваться вся информация, содержащаяся в выборке, о неизвестном параметре , т.е. оценка должна быть достаточной. Если - достаточная оценка, то никакая другая оценка не может дать о неизвестном параметре дополнительных сведений.

При выборе оценок следует принимать во внимание перечисленные свойства и учитывать относительную простоту вычислений. Нередко выбирается неэффективная оценка только потому, что ее вычисление намного проще, чем вычисление эффективной оценки. Например, при контроле качества продукции мерой разброса совокупности часто служит выборочный размах, используемый вместо более сложной и более эффективной оценки — выборочного стандартного отклонения. Отметим, что при оценивании на основе малого числа наблюдений различие в эффективности оценок невелико.

Вопросы для самопроверки

1. Какая случайная величина называется статистикой?

2. Сформулируйте определение точечной оценки.

3. Каким свойствам должны удовлетворять точечные оценки?

4. Сформулируйте определение условий оценок: несмещенности, эффективности и состоятельности.

5. Что следует учитывать при выборе оценок?

7.2. ОЦЕНКА ДИСПЕРСИИ СЛУЧАЙНОЙ ВЕЛИЧИНЫ

Пусть задана случайная величина X с неизвестным математическим ожиданием М(Х) и дисперсией D(X). Определим состоятельную, несмещенную, эффективную оценку параметра D(X) по результатам выборки: .

Известно, что несмещенной, эффективной, состоятельной оценкой математического ожидания М(X) является среднее арифметическое , т.е. . Покажем, что оценкой для дисперсии D(X) случайной величины X служит ее статистическая дисперсия

. (7.1.)

Так как значения центральных статистических моментов не зависят от выбора начала отсчета величины (новый отсчет отличается от старого на постоянную величину), то формулу (7.1) можно записать:

Рассматривая , как независимые случайные величины X₁, Х₂, ..., Х_n с тем же законом распределения, что и величина X, будем иметь:

Как видно из полученного результата, статистическая дисперсия не является несмещенной оценкой, так как отличается от D(X) на величину . Для получения несмещенной оценки умножим статистическую дисперсию на и получим исправленную статистическую дисперсию

которая и будет несмещенной оценкой дисперсии случайной величины X, так как .

Рассмотрим равенство

и покажем, что оценка состоятельная. Слагаемое приведенной выше формулы является средним арифметическим n независимых, одинаково распределенных величин . Согласно закону больших чисел,

Второе слагаемое в силу закона больших чисел сходится по вероятности к нулю: . В самом деле, если при n→∞, то и при n→∞.

Так как статистическая дисперсия является суммой двух слагаемых, одно из которых сходится по вероятности к D(X), а другое — к нулю, то , что свидетельствует о состоятельности оценки .

Вопросы для самопроверки

1. Какая числовая характеристика является оценкой дисперсии генеральной совокупности?

2. Почему статистическая дисперсия не является несмещенной оценкой дисперсии генеральной совокупности?

3. Как исправляется смещение статистической дисперсии?

4. Докажите свойство состоятельности статистической дисперсии.