ТВиМС.Малярец.Егоршин 22.12.12

Рис. 13.1. Шаблон таблицы дисперсионного анализа

Изменчивость (Source of variable): Общая (Total) изменчивость данных yij

разлагается на детерминированную часть – изменчивость средних групповых ui (традиционное название – изменчивость Между группами (Between of groups)) и случайную изменчивость ij (изменчивость Внутри групп (Within of groups)).

Суммы квадратов отклонений (Suma of squares) – SSy, SSu, SS .

ЧСС – числа степеней свободы (Degree of freedom) – dfy, dfu, df .

Средние квадраты (Mean of squares) – несмещенные оценки дисперсий, равные отношениям сумм квадратов отклонений к своему числу степеней сво-

боды: MSu = SSu / dfu , MS = SS / df .

Дисперсионное отношение Фишера F показывает, во сколько раз изменчивость между группами (изменчивость "полезного сигнала") превышает изменчивость внутри групп (случайную изменчивость): F = MSu / MS .

Статистика F распределена по закону Фишера с числами степеней свободы (dfu, df ). По таблицам Фишера – Снедекора находим критические значения

F0,05(dfu, df ) и F0,05(dfu, df ).

Если вычисленное значение F меньше нижней границы F<F0,05 , нульгипотеза об отсутствии значимых различий между группами не может быть отвергнута. Если вычисленное значение F больше верхней границы F>F0,01 , нульгипотеза отвергается, между группами имеются значимые различия. Какие именно различия – устанавливается по парным сравнением групп с помощью

дисперсии принимается MS . Для групп малого объема оценка MSболее надежна, чем объединенная дисперсия только двух групп. Критическое значение t0,05 находится по таблицам Стьюдента для ЧСС = df .

131

Для р = 2 (сравнение двух групп) дисперсионный анализ полностью эквивалентен методике сравнения групп по критерию Стьюдента. Действительно,

Рассмотрим полученные результаты дисперсионного анализа с другой стороны. Можно сказать, что при F>F0,01 результативная переменная Y и классификационный показатель X не являются независимыми, они связаны между собой, между ними имеется статистическая (корреляционная) зависимость. Введем меру тесноты этой связи.

Имеем разложение общей суммы квадратов отклонений на детерминированную и случайную компоненты:

SSy = SSu + SS ;

или в относительных единицах:

квадратов, которые не могут быть отрицательными; с другой стороны, индекс

куда для любой группы будет ui yxi y – все средние групповые равны об-

щему среднему, между средними групповыми нет различий, результативная переменная Y не зависит от классификационного показателя X.

132

Если индекс детерминации равен единице, то равна нулю сумма квадратов SS ij2 , следовательно, равны нулю все ее члены, то есть никакого случайного разброса нет, каждой группе (каждому уровню классификационного показателя X) соответствует единственное значение результативной переменной ui . Однозначное соответствие между множеством значений объясняющей переменной X и множеством значений результативной переменной Y называется функциональной зависимостью.

Чем ближе индекс детерминации к единице, тем ближе корреляционная зависимость к функциональной.

Индекс детерминации 2 показывает, какая часть полной изменчивости определяется классификационным фактором (различиями между группами наблюдений). Для совместимости с мерами тесноты связей другой природы

принято извлекать корень квадратный из индекса детерминации 2 . Характеристика называется корреляционным отношением.

Рассмотрим пример сравнения 4-х выборок, сведения о которых приведены в таблице на рис. 13.2.

строке приведено общее среднее y при объединении всех 4-х групп наблюдений.

В последнем столбце вычислены суммы квадратов отклонений от сред-

объединенная сумма квадратов случайных отклонений данных от средних групповых SS = SS1 + SS2 + SS3 + SS4 = 4242,2.

133

Число степеней свободы случайных отклонений в каждой группе равно dfi = (ki – 1), общее число степеней свободы случайной изменчивости получаем как их сумму df dfi n p 153 4 149.

Несмещенные оценки дисперсии случайной изменчивости по группам ˆi2 и общая MS(в итоговой строке) получены как отношения сумм квадратов к соответствующим числам степеней свободы.

Необходимо выяснить, имеются ли значимые различия между выделенными группами наблюдений, и, если они есть, определить величину вклада классификационного фактора в общую изменчивость данных (значимые различия между группами указывают на существование связи между уровнями классификационного фактора и значениями результативной переменной; необходимо оценить тесноту этой связи).

Вычисляем сумму квадратов отклонений средних групповых от общего среднего:

Вычисленное дисперсионное отношение Фишера F = 48,86 показывает, что изменчивость данных между группами в 48,9 раз превышает изменчивость внутри групп («мощность полезного сигнала» превышает «мощность помехи» в 48,9 раз).

Далее все зависит от наличия статистических таблиц. Если имеется таблица квантилей, то выписываем критические значения F0,05(3; 149) = 2,67 и F0,01(3; 149) = 3,92. Так как вычисленное значение F = 48,86 больше большей

134

границы F > F0,01 , нуль-гипотеза отвергается – между группами имеются значимые различия. Часто вместо таблиц квантилей используется таблица уровней значимости – вероятностей того, что вычисленное значение F получено чисто случайно при справедливости нуль-гипотезы. Обычно эта вероятность (уровень

что около 50 % изменчивости данных определяются различными уровнями классификационного фактора (различиями между группами наблюдений). Кор-

Дисперсионный анализ является одним из инструментов для изучения связей между статистическими показателями. Поэтому имеет смысл напомнить терминологию классификации типов связей и ввести классификацию типов переменных.

Итак, напоминаем введенную раньше (в лекции 8 «Системы случайных величин») классификацию связей.

Зависимость называется функциональной, если каждому значению аргумента (аргументов) соответствует единственное значение функции (каждому значению объясняющих переменных соответствует единственное значение результативного признака; случайного разброса нет).

Зависимость называется стохастической (статистической), если при изменении объясняющих переменных меняется вид распределения результативного показателя (меняется его условное распределение) – изменяются вид распределения или только его характеристики (условные математические ожидания, дисперсии и т. п.). Таким образом, в отличие от функциональной связи, при статистической зависимости нет однозначного соответствия между множеством значений аргументов и множеством значений функции.

Статистическая зависимость называется корреляционной, если при изменении аргумента изменяется только условное математическое ожидание функции (каждому значению объясняющих переменных соответствует свое среднее значение результативного показателя). При корреляционной зависимости мы следим за изменением только одной характеристики – центра условного распределения (условного математического ожидания).

135

Корреляционная зависимость является частным случаем общей статистической зависимости. Естественно, существуют также иные виды статистических зависимостей некорреляционного типа, например, когда при изменении аргументов меняется условная дисперсия.

В дисперсионном анализе предполагается, что группы (популяции) различаются только средним уровнем результативного признака, дисперсия в каждой группе считается одинаковой. Следовательно, с точки зрения введенной выше классификации дисперсионный анализ изучает корреляционные связи.

Рассмотрим классификацию переменных.

Выше уже неоднократно использовались термины «объясняющие пере-

менные» и «результативный показатель», «аргументы» и «функция»; в ма-

тематике (но не в статистике!) допустимы также словосочетания «независимая и зависимая переменные» – дело в том, что в статистике аргументы (объясняющие переменные) далеко не всегда являются независимыми. Мы встречались с числовыми непрерывными и дискретными величинами (последние могли принимать только определенные фиксированные значения и не могли принимать никаких промежуточных значений между ними).

С развитием науки появилась необходимость измерять нечисловые объекты. Например, как сравнивать разные почвы, состояние экономики в разных странах, климатические условия в разные годы?

Поэтому, кроме количественных шкал, были введены качественные шкалы измерения. Отдельные значения на качественных шкалах называются категориями. Наиболее общая качественная шкала – это шкала имен (продукция разных предприятий, стадии развития растений, пол – мужской, женский, сезон – зимний, весенний, летний, осенний и т. д.). В шкале имен допустимы лишь операции сравнения «равно – не равно»: xi = xj или xi xj . К сожалению, из-за плохого перевода в русском языке появилось название «номинальная шкала» (от name – имя).

Следующими по информативности являются порядковые шкалы (из-за плохого перевода в русском языке такие шкалы часто называют ординальными). Порядковыми являются шкалы рангов или баллов, где допустимы любые логические операции сравнения <, ≤, , =,≥, >. Никакие арифметические операции в порядковых шкалах недопустимы.

Если один ученик получил оценку «пять», а другой «четыре», то нельзя сказать, что первый ученик знает предмет на единицу больше другого, так как для уровня знаний нет числовой меры.

136

Традиционное использование так называемого среднего балла иногда приводит к серьезным ошибкам.

Отметим разницу между шкалой рангов и другими порядковыми шкалами. Под операцией «ранжирование» понимается «сортировка» данных в порядке возрастания какого-либо показателя (количественного или порядкового) и

присвоение каждому наблюдению номера по порядку (ранга). Если несколько данных по выбранному признаку не различимы, то им всем присваивается одинаковый ранг, средний из их порядковых номеров.

Количественные шкалы (непрерывные или дискретные) подразделяются еще на интервальные шкалы и шкалы отношений. На первый взгляд, измерение какого-либо показателя подобно измерению длины мерной линейкой (рулеткой) и с этими размерами можно производить любые арифметические операции (складывать их, перемножать и т. д.). Однако оказывается, что в некоторых количественных шкалах (интервальных), кроме логических операций сравнения, допустима всего лишь одна арифметическая операция – вычитание. К таким шкалам относятся шкала температур и шкала времени. Действительно, в шкале времени разность дат имеет ясный смысл, как длительность некоего процесса, временной промежуток между какими-либо событиями; но нет никакого смысла в произведении дат или в сумме дат. Нельзя также сказать, что температура 10 С вдвое больше температуры 5 С. Дело в том, что в интервальных шкалах (шкала температур и шкала времени) нет естественного начала. В шкале времени принято начинать отсчет от какого-либо события (реального или мифического) – от «Рождества Христова» или от «Сотворения мира». В шкале температур по Цельсию за начало 0 С принята температура таяния льда. В других температурных шкалах (по Фаренгейту или по Реомюру) приняты другие начальные точки отсчета.

В шкале отношений допустимы любые арифметические операции. Теперь мы можем определить место дисперсионного анализа в ряду дру-

гих методов анализа связей. В дисперсионном анализе все объясняющие переменные (факторы) качественные, измеренные в наиболее общей шкале имен, а результативный признак количественный, измеренный в шкале отношений.

Ранговый дисперсионный анализ Краскала – Уоллиса

Любую шкалу измерения можно всегда понизить до более простой, причем выводы, справедливые в простейших шкалах, будут более общими и надежными, чем в высших шкалах. Поэтому, кроме обычного дисперсионного анализа, используют также ранговые дисперсионные анализы Фридмена или

137

Краскала – Уоллиса. Так, в стандартном дисперсионном анализе требуется, чтобы данные в каждой группе были распределены нормально с одинаковой дисперсией. Если эти предпосылки не выполняются, выводы дисперсионного анализа становятся сомнительными. Наличие выбросов (далеко отклоняющихся значений) также способно исказить результаты анализа. После перехода к рангам некоторая часть информации будет потеряна, однако снимаются все вышеперечисленные обременительные предположения.

Например, в таблице на рис. 13.4 приведены данные о времени появления реакции в 4-х группах, которые отличаются условиями проведения опыта. В последних строках таблицы вычислены средние и дисперсии в каждой группе, откуда видна нежелательная особенность: большим значениям средних групповых соответствуют большие значения дисперсии.

Как правило, время появления какого-то события имеет экспоненциальное или гамма-распределение, которые существенно отличаются от нормального. Кроме того, последнее наблюдение в 4-й группе очень похоже на выброс (такие отклонения допустимы для экспоненциального закона, но нетипичны для нормального распределения).

По методу Краскала – Уоллиса необходимо все данные (n = 4 8 = 32) ранжировать и для каждой группы найти средние ранги vi .

Доказано, что статистика

138

Если нуль-гипотеза отклоняется, то для выявления значимых различий

с числом степеней свободы dfij = ki + kj – 2.

Итак, ранжируем данные предыдущей таблицы и подсчитываем средние ранги в каждой группе (рис. 13.5).

Рис. 13.5. Данные после ранжирования

Расположенные в порядке возрастания наблюдения 13 – 14 оказались одинаковыми, поэтому присваиваем им одинаковый средний ранг 13,5; одинаковыми оказались также пары наблюдения 21 – 22 и 26 – 27, присваиваем этим парам средние ранги 21,5 и 26,5.

В последней строке таблицы подсчитаны средние ранги по группам. Вычисляем статистику Краскала – Уоллиса (p = 4, ki = 8, n = 32):

Поскольку Н = 7,85 > H0,05 , то нуль-гипотеза отклоняется с уровнем значимости 5 % , то есть считаем, что между группами имеются значимые различия (вспомните, что означает оговорка «с уровнем значимости 5 %»).

Теперь необходимо выяснить, какие именно группы значимо отличаются от остальных. Вычисляем разность средних рангов для 1-й и 3-й групп (макси-

мальная разница): 13 = 20,250 – 8,563 = 11,687.

139

Статистика Стьюдента для этих групп

оказалась больше табличного значения t0,05(8 + 8 – 2) = 2,14, то есть можно считать, что между группами 1 – 3 есть значимые различия (с уровнем значимости 5 %). Остальные разности незначимы.

Приведем некоторые соображения для вывода статистики Краскала –

Краскал и Уоллис рассматривали средние ранги vi в каждой из p групп объема ki . Нуль-гипотеза заключается в утверждении, что элементы в каждую группу отбираются случайным образом, поэтому ожидается (математическое ожидание), что все ai одинаковы и равны общему среднему рангу всех n

вероятности попадания элемента в ту или иную группы – они пропорциональ-

2-распределение. Число степеней свободы здесь на единицу меньше числа

140