2. Уровни статистической значимости, ось значимости, особенности нахождения критических значений различных критериев.

Уровень значимости - это вероятность того, что мы сочли различия существенными, а они на самом деле случайны. Когда мы указываем, что различия достоверны на 5% уровне значимости, или при р<0,05. то мы имеем ввиду, что вероятность того, что они недостоверны, составляет 0,05. Если же мы указываем, что различия достоверны на 1% уровне значимости, или при р<0,01, то имеем ввиду, что вероятность того, что они все-таки недостоверны равна 0,01. Иначе, уровень значимости - это вероятность отклонения нулевой гипотезы, в то время как она верна. Ошибка, состоящая в том, что мы отклонили нулевую гипотезу, в то время как она верна, называется ошибкой 1 рода. Вероятность такой ошибки обычно обозначается как а. Поэтому правильнее указывать уровень значимости: а<0,05 или а<0,01. Если вероятность ошибки - это а, то вероятность правильного решения равна: 1-а. Чем меньше а, тем больше вероятность правильного решения. В психологии принять считать низшим уровнем статистической значимости 5%-ный уровень, а достаточным 1%-ный. В таблицах критических значений обычно приводятся значения критериев, соответствующих уровням значимости р<0,05 и р<0,01 иногда для р<0,001. Для некоторых критериев в таблицах указан точный уровень значимости их разных эмпирических значений. Например, для значения критерия Фишера ф=1,56 р=0,06. До тех пор пока уровень значимости не достигнет р=0.05, мы еще не имеем право отклонить нулевую гипотезу. Будем придерживаться следующего правила отклонения гипотезы об отсутствии различий (Н0) и принятии гипотезы о статистической достоверности различий (Ні).

Правило отклонения Hp И принятия Hi  Если эмпирическое значение критерия равняется критическому значению, соответствующему р<0,05 или превышает его, то Но отклоняется, но мы еще не можем определенно принять Hi.

Если эмпирическое значение критерия равняется критическому значению, соответствующему р<0,01 или превышает его, то Но Исключения: критерий знаков G, критерий Т Вилкоксона и критерий U Манна-Уитни. Для них устанавливаются обратные соотношения. Для облегчения принятия решения можно вычерчивать "ось значимости". Зона неопределенности Зона незначимости \ Qo/ 9 / QaMnA 1 XQo^i ї 1 Зона значимости 6 1 u 9 Критические значения критерия обозначены как Q0,05 и Q0,01, эмпирическое значение критерия как Рэмп- Оно заключено в эллипс. Вправо от критического значения Q0,01 простирается "зона значимости" - сюда попадают эмпирические значения Q, которые ниже Q001 и, следовательно, значимые. Влево от критического значения Q0 05 простирается "зона незначимости", - сюда попадают эмпирические значения Q, которые ниже Q0,05 и, следовательно, незначимы. В нашем примере, Q0,05 =6; Q0,01=9; Qэмп=8. Эмпирическое значение критерия попадает в область между Q0,05 и Q0,01. Это "зона неопределенности": мы уже можем отклонить гипотезу о недостоверности различий (Н0), но еще не можем приять гипотезы об их достоверности (Н1). Практически, можно считать достоверными уже те различия, которые не попадают в зону незначимости, сказав, что они достоверны при р<0,05.

Уровни значимости

1. 1-й уровень значимости: р ≤ 0,05.

Это 5%-ный уровень значимости. До 5% составляет вероятность того, что мы ошибочно сделали вывод о том, что различия достоверны, в то время как они недостоверны на самом деле. Можно сказать и по-другому: мы лишь на 95% уверены в том, что различия действительно достоверны. В данном случае можно написать и так: P>0,95. Общий смысл критерия останется тем же.

2. 2-й уровень значимости: р ≤ 0,01.

Это 1%-ный уровень значимости. Вероятность ошибочного вывода о том, что различия достоверны, составляет не более 1%. Можно сказать и по-другому: мы на 99% уверены в том, что различия действительно достоверны. В данном случае можно написать и так: P>0,99. Смысл останется тем же.

3. 3-й уровень значимости: р ≤ 0,001.

Это 0,1%-ный уровень значимости. Всего 0,1% составляет вероятность того, что мы сделали ошибочный вывод о том, что различия достоверны. Это — самый надёжный вариант вывода о достоверности различий. Можно сказать и по-другому: мы на 99,9% уверены в том, что различия действительно достоверны. В данном случае можно написать и так:P>0,999. Смысл опять-таки останется тем же.

 

Уровень значимости – это вероятность ошибочного отклонения (отвержения) гипотезы, в то время как она на самом деле верна. Речь идёт об отклонении нулевой гипотезы Н_о.

Уровень значимости – это допустимая ошибка в нашем утверждении, в нашем выводе.

 

Ошибки

 

Возможны ошибки двух родов: первого рода (α ) и второго рода (β).

Ошибка I рода – мы отклонили нулевую гипотезу, в то время как она верна.

α – ошибка I рода.

р ≤ 0,05, уровень ошибки α ≤ 0,05

Вероятность того, что принято правильное решение: 1 – α = 0,95, или 95%.

 

Уровни значимости для ошибок I рода

 

1. α ≤ 0,05 – низший уровень

Низший уровень значимости – позволяет отклонять нулевую гипотезу, но еще не разрешает принять альтернативную.

2. α ≤ 0,01 – достаточный уровень

Достаточный уровень – позволяет отклонять нулевую гипотезу и принимать альтернативную.

Исключение:

G – критерий знаков

T – критерий Вилкоксона

U – критерий Манна – Уитни.

Для них обратное соотношение.

3. α ≤ 0,001 – высший уровень значимости.

 

На практике различия считают достоверными при р ≤ 0,05.

Для ненаправленной статистической гипотезы используется двусторонний критерий значимости. Он более строгий, так как проверяет различия в обе стороны: в сторону нулевой гипотезы и в сторону альтернативной. Поэтому для него используется критерий значимости 0,01.

 

Мощность критерия – его способность выявлять даже мелкие различия если они есть. Чем мощнее критерий, тем лучше он отвергает нулевую гипотезу и подтверждает альтернативную.

 

Здесь появляется понятие: ошибка II рода.

Ошибка II рода – это принятие нулевой гипотезы, хотя она не верна.

Мощность критерия: 1 – β

Чем мощнее критерий, тем он привлекательнее для исследователя. Он лучше отвергает нулевую гипотезу.

 

Чем привлекательны маломощные критерии?

 

Достоинства маломощных критериев

• Простота

• Широкий диапазон, по отношению к самым разным данным

• Применимость к неравным по объему выборкам.

• Большая информативность результатов.

Самый популярный статистический критерий в России - Т-критерий Стьюдента. Но всего в 30% статей его используют правильно, а в 70% - неправильно, т.к. не проверяют предварительно выборку на нормальность распределения.

Второй по популярности — критерий хи-квадрат, χ²

 

За рубежом:

Т-критерий Вилкоксона

U-критерий Манна – Уитни

χ² - хи-квадрат.

Т-критерий Стьюдента – это частный случай дисперсионного анализа для более маленькой по объёму выборки.

Правило отклонения H₀ И принятия H₁

Если эмпирическое значение критерия равняется критическому значению, соответствующему р<0,05 или превышает его, то H₀ отклоняется, но мы еще не можем определенно принять H₁. Если эмпирическое значение критерия равняется критическому значению, соответствующему р<0,01 или превышает его, то H₀ отклоняется и принимается H₁.

Исключения: критерий знаков G, критерий-Т Вилкоксона и критерий-U Манна-Уитни. Для них устанавливаются обратные соотношения.

Для облегчения процесса принятия решения можно всякий раз вычерчивать "ось значимости".

Критические значения критерия обозначены как Q_0,05 и Q_0,01, эмпирическое значение критерия как Q_эмп. Оно заключено в эллипс.

Вправо от критического значения Q_0,01 простирается "зона значимости" - сюда попадают эмпирические значения, превышающие Q_0,01 и, следовательно, безусловно значимые.

Влево от критического значения Q_0,05 простирается "зона незначимости", - сюда попадают эмпирические значения Q, которые ниже Q_0,05, и, следовательно, безусловно незначимы.

Мы видим, что Q_0,05=6; Q_0,01=9; Q_эмп =8

Эмпирическое значение критерия попадает в область между Q_0,05 и Q_0,01- Это зона "неопределенности": мы уже можем отклонить гипотезу о недостоверности различий (H₀), но еще не можем принять гипотезы об их достоверности (H₁).

Практически, однако, исследователь может считать достоверными уже те различия, которые не попадают в зону незначимости, заявив, что они достоверны при р<0,05, или указав точный уровень значимости полученного эмпирического значения критерия, например: р=0,02. С помощью таблиц Приложения 1 это можно сделать по отношению к критериям Н-Крускала-Уоллиса, χ², Фридмана, L-Пейджа, φ* Фишера, А, Колмогорова.

Уровень статистической значимости или критические значения критериев определяются поразному при проверке направленных и ненаправленных статистических гипотез.

При направленной статистической гипотезе используется односторонний критерий, при ненаправленной гипотезе - двусторонний критерий. Двусторонний критерий более строг, поскольку он проверяет различия в обе стороны, и поэтому то эмпирическое значение критерия, которое ранее соответствовало уровню значимости р<0,05, теперь соответствует лишь уровню р<0,10.

В данном руководстве исследователю не придется всякий раз самостоятельно решать, использует ли он односторонний или двухсторонний критерий. Таблицы критических значений критериев подобраны таким образом, что направленным гипотезам соответствует односторонний, а ненаправленным - двусторонний критерий, и приведенные значения удовлетворяют тем требованиям, которые предъявляются к каждому из них. Исследователю необходимо лишь следить за тем, чтобы его гипотезы совпадали по смыслу и по форме с гипотезами, предлагаемыми в описании каждого из критериев.