3. Проверка статистических гипотез

3.1. Сущность задачи проверки статистических гипотез

Статистическая гипотеза представляет собой некоторое предположение о законе распределения случайной величины или о параметрах этого закона, формулируемое на основе выборки [3, 5, 11]. Примерами статистических гипотез являются предположения: генеральная совокупность распределена по экспоненциальному закону; математические ожидания двух экспоненциально распределенных выборок равны друг другу. В первой из них высказано предположение о виде закона распределения, а во второй – о параметрах двух распределений. Гипотезы, в основе которых нет никаких допущений о конкретном виде закона распределения, называют непараметрическими, в противном случае – параметрическими.

Гипотезу, утверждающую, что различие между сравниваемыми характеристиками отсутствует, а наблюдаемые отклонения объясняются лишь случайными колебаниями в выборках, на основании которых производится сравнение, называют нулевой (основной) гипотезой и обозначают Н₀. Наряду с основной гипотезой рассматривают и альтернативную (конкурирующую, противоречащую) ей гипотезу Н₁. И если нулевая гипотеза будет отвергнута, то будет иметь место альтернативная гипотеза.

Различают простые и сложные гипотезы. Гипотезу называют простой, если она однозначно характеризует параметр распределения случайной величины. Например, если  является параметром экспоненциального распределения, то гипотеза Н₀ о равенстве  =10 – простая гипотеза. Сложной называют гипотезу, которая состоит из конечного или бесконечного множества простых гипотез. Сложная гипотеза Н₀ о неравенстве  >10 состоит из бесконечного множества простых гипотез Н₀ о равенстве  =b_i , где b_i – любое число, большее 10. Гипотеза Н₀ о том, что математическое ожидание нормального распределения равно двум при неизвестной дисперсии, тоже является сложной. Сложной гипотезой будет предположение о распределении случайной величины Х по нормальному закону, если не фиксируются конкретные значения математического ожидания и дисперсии.

Проверка гипотезы основывается на вычислении некоторой случайной величины – критерия, точное или приближенное распределение которого известно. Обозначим эту величину через z, ее значение является функцией от элементов выборки z=z(x₁, x₂, …, x_n). Процедура проверки гипотезы предписывает каждому значению критерия одно из двух решений – принять или отвергнуть гипотезу. Тем самым все выборочное пространство и соответственно множество значений критерия делятся на два непересекающихся подмножества S₀ и S₁. Если значение критерия z попадает в область S₀, то гипотеза принимается, а если в область S₁, – гипотеза отклоняется. Множество S₀ называется областью принятия гипотезы или областью допустимых значений, а множество S₁ – областью отклонения гипотезы или критической областью. Выбор одной области однозначно определяет и другую область.

Принятие или отклонение гипотезы Н₀ по случайной выборке соответствует истине с некоторой вероятностью и, соответственно, возможны два рода ошибок. Ошибка первого рода возникает с вероятностью  тогда, когда отвергается верная гипотеза Н₀ и принимается конкурирующая гипотеза Н₁. Ошибка второго рода возникает с вероятностью  в том случае, когда принимается неверная гипотеза Н₀, в то время как справедлива конкурирующая гипотеза Н₁. Доверительная вероятность – это вероятность не совершить ошибку первого рода и принять верную гипотезу Н₀. Вероятность отвергнуть ложную гипотезу Н₀ называется мощностью критерия. Следовательно, при проверке гипотезы возможны четыре варианта исходов, табл. 3.1.

Таблица 3.1.

Гипотеза Н0	Решение	Вероятность	Примечание
Верна	Принимается	1–	Доверительная вероятность
	Отвергается		Вероятность ошибки первого рода
Неверна	Принимается		Вероятность ошибки второго рода
	Отвергается	1–	Мощность критерия

Например, рассмотрим случай, когда некоторая несмещенная оценка параметра  вычислена по выборке объема n, и эта оценка имеет плотность распределения f( ), рис. 3.1.

Рис. 3.1. Области и отклонения гипотезы

Предположим, что истинное значение оцениваемого параметра равно Т. Если рассматривать гипотезу Н₀ о равенстве  =Т, то насколько велико должно быть различие между  и Т, чтобы эту гипотезу отвергнуть. Ответить на данный вопрос можно в статистическом смысле, рассматривая вероятность достижения некоторой заданной разности между  и Т на основе выборочного распределения параметра  .

Целесообразно полагать одинаковыми значения вероятности выхода параметра  за нижний и верхний пределы интервала. Такое допущение во многих случаях позволяет минимизировать доверительный интервал, т.е. повысить мощность критерия проверки. Суммарная вероятность того, что параметр  выйдет за пределы интервала с границами  _{1– /2} и   _/2, составляет величину  . Эту величину следует выбрать настолько малой, чтобы выход за пределы интервала был маловероятен. Если оценка параметра попала в заданный интервал, то в таком случае нет оснований подвергать сомнению проверяемую гипотезу, следовательно, гипотезу равенства  =Т можно принять. Но если после получения выборки окажется, что оценка выходит за установленные пределы, то в этом случае есть серьезные основания отвергнуть гипотезу Н₀. Отсюда следует, что вероятность допустить ошибку первого рода равна  (равна уровню значимости критерия).

Если предположить, например, что истинное значение параметра в действительности равно Т+d, то согласно гипотезе Н₀ о равенстве  =Т – вероятность того, что оценка параметра  попадет в область принятия гипотезы, составит  , рис. 3.2.

При заданном объеме выборки вероятность совершения ошибки первого рода можно уменьшить, снижая уровень значимости  . Однако при этом увеличивается вероятность ошибки второго рода  (снижается мощность критерия). Аналогичные рассуждения можно провести для случая, когда истинное значение параметра равно Т – d.

Единственный способ уменьшить обе вероятности состоит в увеличении объема выборки (плотность распределения оценки параметра при этом становится более "узкой"). При выборе критической области руководствуются правилом Неймана – Пирсона: следует так выбирать критическую область, чтобы вероятность  была мала, если гипотеза верна, и велика в противном случае. Однако выбор конкретного значения  относительно произволен. Употребительные значения лежат в пределах от 0,001 до 0,2. В целях упрощения ручных расчетов составлены таблицы интервалов с границами  _{1– /2} и   _/2 для типовых значений  и различных способов построения критерия.

При выборе уровня значимости необходимо учитывать мощность критерия при альтернативной гипотезе. Иногда большая мощность критерия оказывается существеннее малого уровня значимости, и его значение выбирают относительно большим, например 0,2. Такой выбор оправдан, если последствия ошибок второго рода более существенны, чем ошибок первого рода. Например, если отвергнуто правильное решение "продолжить работу пользователей с текущими паролями", то ошибка первого рода приведет к некоторой задержке в нормальном функционировании системы, связанной со сменой паролей. Если же принято решения не менять пароли, несмотря на опасность несанкционированного доступа посторонних лиц к информации, то эта ошибка повлечет более серьезные последствия.

В зависимости от сущности проверяемой гипотезы и используемых мер расхождения оценки характеристики от ее теоретического значения применяют различные критерии. К числу наиболее часто применяемых критериев для проверки гипотез о законах распределения относят критерии хи-квадрат Пирсона, Колмогорова, Мизеса, Вилкоксона, о значениях параметров – критерии Фишера, Стьюдента.