Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
stat.docx
Скачиваний:
1
Добавлен:
01.05.2025
Размер:
241 Кб
Скачать
☆

3.9. Приближенный критерий для проверки гипотезы о равенстве нулю коэффициента корреляции между компонентами двумерной нормально распределенной случайной величины

Пусть (х1, y1), (х2, y2), …, (хп, yп)  -  случайная выборка пар значений двумерной случайной величины  , имеющей двумерное нормальное распределение. Требуется проверить гипотезу  о равенстве коэффициента корреляции   этого двумерного распределения заданному числу  . Для проверки этой гипотезы можно использовать статистику

распределение которой при выполнении H0 и при достаточно большом n довольно точно приближается стандартным нормальным распределением. Соответственно, как и в предыдущих двух параграфах, критическая область уровня значимости   для проверки гипотезы   против двусторонней альтернативы   будет состоять из двух бесконечных полуинтервалов   и  , против односторонней альтернативы   - из одного полуинтервала   и против односторонней альтернативы   - также из одного полуинтервала  .

Обычно проверяется гипотеза о равенстве коэффициента корреляции нулю, что в случае двумерного нормального распределения, как ранее отмечалось, эквивалентно проверке гипотезы о независимости   и  . В этом случае приведенное выше выражение для статистики критерия упрощается

Пример. Пусть объем выборки n=10, вычисленное по выборке значение r=0.6 и требуется проверить гипотезу   против альтернативы  .

Выборочное значение статистики u, вычисленное по формуле (5), равно 1.83. Поскольку оно не выходит за двусторонние 5%-ные критические пределы стандартного нормального распределения  , то у нас нет оснований отвергнуть нулевую гипотезу об отсутствии корреляции. Если бы у нас были основания предполагать, что корреляционная зависимость в случае ее наличия может быть только положительной, то следовало бы использовать для проверки H0, одностороннюю критическую область, которая для   представляет собой бесконечный полуинтервал  . Значение 1.83 попадает в эту критическую область и, следовательно, гипотеза об отсутствии корреляции должна бы была быть отвергнута. Заметим, однако, что число наблюдений в данном примере недостаточно велико для уверенного использования данного приближенного критерия. Если к этому добавить тот факт, что выборочное значение статистики критерия находится вблизи границы критической области, то следует заключить, что по имеющимся данным нельзя сделать надежного вывода ни о наличии, ни об отсутствии корреляции.

Отметим, что если бы, скажем, значение r=0.6 было получено для n=50, то выборочное значение статистики u было бы равно 4.75, и гипотеза однозначно должна бы была быть отвергнута не только на уровне значимости 5%, но и 1% (и даже более высоком, т.к. вероятность того, что стандартно распределенная случайная величина примет значение большее 4.75 равна 0.000001).

 

3.10. Критерии согласия

Все рассмотренные до сих пор критерии принято относить к группе так называемых параметрических критериев. Применение этих критериев требует знания типа распределения наблюдаемых случайных величин (нормальное, биномиальное, пуассоновское, двумерное нормальное или какое-либо иное) и проверяемая гипотеза касается параметров данных распределений. Прежде чем применять параметрические методы, необходимо убедиться в том, что мы действительно имеем дело с распределением требуемого типа.

Предположение о виде распределения случайной величины – это статистическая гипотеза, которую можно проверить с помощью экспериментальных данных. Критерии, позволяющие решать такого рода задачи, называются критериями согласия – согласия выборочных данных некоторому наперед заданному теоретическому распределению.

Пусть имеется выборка х1, х2, ..., хп значений случайной величины   с неизвестной функцией распределения F(x). Требуется проверить гипотезу   о том, что случайная величина имеет некоторое заданное распределение F0(x) против альтернативной гипотезы  . Распределение F0(x) может быть либо задано полностью (простая нулевая гипотеза), либо с точностью до параметров (сложная нулевая гипотеза). Во втором случае фактически проверяется принадлежность распределения к заданному типу, например, проверяется гипотеза о нормальности. Часто это делается с целью обоснования применения для обработки полученных данных методов, требующих принадлежности распределения к заданному типу (например, при применении t-критерия предполагается, что выборка извлечена из нормальной генеральной совокупности). Следует однако помнить, что неотвержение гипотезы   не является убедительным доводом в пользу ее справедливости при неизвестной ошибке второго рода, которая может быть довольно высокой при небольшом числе наблюдений.

Для проверки гипотезы о принадлежности распределения к заданному типу часто используется так называемый критерий согласия  . Относительно распределения F(x) не делается никаких предположений, оно может быть как непрерывным, так и дискретным. Статистика критерия   вычисляется следующим образом. Область изменения значений выборки разбивается наk интервалов с таким расчетом, чтобы число наблюдений ni (наблюденная частота) в большинстве из интервалов i, i=1, …, k, было не менее 10. Для каждого из интервалов вычисляется также вероятность pi попадания в этот интервал случайной величины при условии выполнения гипотезы H0. Статистика   равна нормированной сумме квадратов отклонений числа наблюдений ni от гипотетической частоты npi

Для легкости запоминания эту формулу можно рассматривать как сумму квадратов пуассоновских случайных величин ni, стандартизованных путем вычитания из них гипотетических среднихnpi и деления разности на их среднеквадратические отклонения (npi)1/2.

Если верна гипотеза H0 и при достаточно большом n (не менее 50) распределение данной статистики хорошо приближается распределением   с k-1-l степенями свободы, где l - число параметров гипотетического распределения F0(x), оцененных по выборке (одна степень свободы вычитается даже при полностью заданном F0(x), поскольку наблюдаемые частоты связаны соотношением n1+n2+…+nk=n). Следовательно, критическое множество уровня значимости   состоит из одного полуинтервала   где  - квантиль  -распределения с числом степеней свободы k-l-1 порядка  .

Необходимость в проверке простых гипотез возникает относительно редко. Гораздо чаще F0(x) бывает известна с точностью до r параметров,  , где   – неизвестные параметры. В этом случае теоретические вероятности pi не удается вычислить непосредственно, поэтому находим  , i=1,…,k, где   - оценки параметров  , определяемые через наблюдаемые частоты n1,…,nk. Статистика критерия имеет вид

Если нулевая гипотеза H0 верна, статистика критерия   при   распределена асимптотически как  с числом степеней свободы k-r-1. Следовательно, критическое множество уровня значимости   состоит из полуинтервала   где  - квантиль  -распределения с числом степеней свободы k-r-1 порядка  .

Часто оценки неизвестных параметров   определяются не по наблюдаемым частотам ni, а по всей выборке. Например, при проверке нормальности ожидаемую частоту в i-оминтервале, n , находят, используя выборочное среднее   и выборочную дисперсию s2, определенные по всей выборке. В этом случае статистика критерия   при справедливости H0 уже не имеет асимптотически распределения  , ее распределение заключено между   и  . Различием между ними можно пренебречь при больших k. Но для малых k при определении критического множества полезно убедиться, что выборочное значение статистики критерия   и   [3].

Для проверки соответствия непрерывного распределения F(x) заданному F0(x) используются также одновыборочные критерии Колмогорова и Смирнова. Статистика Колмогорова для проверки гипотезы H0 против двусторонней альтернативы   определяется как максимум модуля отклонения эмпирической функции распределения   от гипотетическойF0(x)

Статистика Смирнова,  , для проверки гипотезы H0 против правосторонней альтернативы   имеет вид

Для случая простой нулевой гипотезы распределения статистик Dn и   при справедливости H0 не зависят от типа F0(x). Если верна нулевая гипотеза, предельным распределением статистики   при   является распределение Колмогорова, а Н.В. Смирнов получил точное и предельное распределение статистики  . Соответственно, критическое множество уровня значимости   для проверки гипотезы H0 против двусторонней альтернативы H1 состоит из полуинтервала  , и против правосторонней альтернативы H1 -  , где  ,   – критические значения статистик Dn и  , соответственно, уровня значимости  . При     с большой точностью (большей 0,00005). Поэтому критические значения статистики   могут быть заменены критическими значениями статистики Dn.

В случае сложной нулевой гипотезы, когда F0(x) известна с точностью до параметров,  , где   – неизвестные параметры, статистика критерия для проверки гипотезы H0 против двусторонней альтернативы H1 имеет вид

где   - оценки неизвестных параметров.

При условии, что нулевая гипотеза H0 верна, распределение статистики   (и  ) уже зависит от конкретного вида распределения  . Для некоторых типов распределений – нормального, показательного, логистического – Лиллифорсом получены таблицы критических значений статистики   при условии, что гипотеза H0 верна [8, 9]. Соответственно, критическое множество уровня значимости   для проверки гипотезы H0 против двусторонней альтернативы H1 состоит из одного полуинтервала  , где   – критическое значение статистики  для заданных  , n и F0(x).

Статистика   может быть преобразована к виду, практически не зависящему от n. Например, для нормального распределения Стефенсом получено следующее выражение для модифицированной формы статистики Колмогорова   [5]:

Это дает возможность проводить проверку гипотезы практически при всех n, зная значения   для небольшого набора значений  . В частности, для   имеем  .

При проверке гипотезы о нормальности распределения с неизвестными средним и дисперсией критерий Колмогорова-Смирнова является более мощным, чем критерий  .

Заметим, что в англоязычной литературе и в ППП статистики Dn и   называют одновыборочными статистиками Колмогорова-Смирнова, двусторонней и односторонней, соответственно.

Среди других критериев согласия отметим критерий Шапиро - Уилка для проверки нормальности [6].

Если для конкретной выборки мы отклоняем гипотезу о нормальности, и, следовательно, не имеем права пользоваться методами, основанными на нормальности, то для получения статистических выводов можно поступать разными способами. Например, если объем выборки достаточно велик, можно предпочесть использовать параметрические критерии как приближенные. Другой путь состоит в подборе замены переменной, приводящей к нормальному распределению. Третий путь - применение непараметрических критериев.

Пример. Пусть получена следующая выборка 50 значений случайной величины   с неизвестным распределением:

45

89

93

40

91

60

2

59

87

78

57

39

50

0

35

91

67

62

25

93

19

98

55

78

34

45

86

31

15

95

50

52

35

66

0

44

93

36

29

44

17

85

17

63

34

43

100

75

84

9

 

Проверим гипотезу о том, что эта случайная величина имеет нормальное распределение. После разбиения области изменения выборочных значений на 5 равных интервалов получаем следующие наблюденные и гипотетические частоты:

Интервал

(20, 40]

(40, 60]

(60, 80]

Наблюденная частота, nI

 

8

 

10

 

12

 

7

 

13

Гипотетическая

Частота, npi

 

6.1

 

9.7

 

13.4

 

11.6

 

9.2

 

Гипотетические частоты вычислялись для нормального распределения   с параметрами, оцененными по выборке - соответственно, число степеней свободы статистики критерия равно 5-1-2=2. Выборочное значение статистики равно  , что не выходит за критический  5%-ный предел, равный  . Следовательно, у нас нет оснований отвергнуть гипотезу о нормальности.

В действительности, выборка была получена с помощью датчика случайных чисел, равномерно распределенных на отрезке [0, 100]. Т.е. мы видим, что при данном числе наблюдений (в общем-то, конечно, небольшом для проверки гипотезы о типе распределения) критерий   не обнаруживает отклонения от нормальности в направлении равномерности.

Величина статистики одновыборочного критерия Колмогорова - Смирнова равна D=0.11, что также не выходит за 5%-ный предел этого критерия в предположении, что гипотетические средние равны выборочным. Однако в случае неизвестных параметров гипотетического нормального распределения лучше пользоваться модификацией критерия Колмогорова - Смирнова, предложенной Cтефенсом (Лиллифорсом). Но в этом случае значение  , т.е. нет оснований отвергнуть гипотезу и по этому критерию.

Пример. Расчеты, аналогичные предыдущим, проведенные для выборки объема 150 значений случайной величины, равномерно распределенной на отрезке [0, 100], дали значение  , что позволило отвергнуть гипотезу о нормальности на уровне значимости 5%. По критерию Колмогорова - Смирнова гипотеза отвергалась лишь на уровне 10%, а по критериюЛиллифорса - на уровне 1%, что показывает неправомочность применения критерия Колмогорова - Смирнова в данной ситуации.

Пример. Расчеты статистик критериев согласия для данных таблицы 1, содержащей 50 выборочных значений длины лепестка ириса разноцветного, приводят к значению статистики   равному 2.1, и значению статистики  , равному 0.117. В этом случае гипотеза о нормальности не отвергается ни критерием  , ни критерием Колмогорова - Смирнова - Лиллифорса.

Пример. В некоторых классических экспериментах с селекцией гороха Мендель наблюдал частоты различных видов семян, получаемых при скрещивании растений с круглыми желтыми семенами и растений с морщинистыми зелеными семенами. Они приводятся ниже вместе с теоретическими вероятностями, вычисленными в соответствии с теорией наследственности Менделя.

 

Семена

Наблюденная численность

Ожидаемая численность

Круглые и желтые

315

Морщинистые и желтые

101

Круглые и зеленые

108

Морщинистые и зеленые

32

Всего

556

556

 

В этом случае теоретическое распределение дискретно и известно полностью. Для проверки согласия экспериментальных данных теоретическому распределению используем критерий  для простой гипотезы. Значение статистики, вычисленное по выборке равно  , что меньше 5%-ного критического значения  . Следовательно, теория наследственности Менделя не противоречит полученным экспериментальным данным.

Наряду с количественными статистическими критериями для определения типа распределения по выборочным данным используются графические методы.

Простейший способ - построение по имеющейся выборке гистограммы относительных частот и на том же графике и в том же масштабе, - кривой плотности нормального распределения с выборочным средним и выборочной дисперсией в качестве параметров. Значительные отклонения от нормальности (сильная асимметрия, бимодальность) легко обнаруживаются на графике.

Пример. Применим этот прием к рассмотренной выше модельной выборке объема n=50, извлеченной из равномерного распределения. На рис. 7 приведена гистограмма и кривая нормальной плотности. Можно сказать, что визуально отклонение от нормальности в пользу равномерности заметно (хотя, как мы видели, статистически значимо при таком числе наблюдений оно не подтверждается).

С точки зрения визуального обнаружения отклонений от нормальности сравнение эмпирической и гипотетической функций распределения гораздо менее наглядно, чем сравнение гистограммы с графиком плотности. Однако обычно сравнивают на сами функции распределения, а обратные нормальные преобразования от них, так называемые пробит-графики. Пробит-график от теоретической нормальной функции распределения представляет собой прямую, а пробит-график эмпирической функции распределения тем ближе к прямой, чем ближе она к нормальной. Этот прием позволяет на первом этапе анализа данных выявить их особенности, выдвинуть гипотезы о характере распределения, решить вопрос о целесообразности замены переменной.

 

Рис. 7. Пример сравнения гистограммы и кривой нормальной плотности.

 

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]