2. Помилки першого і другого роду при перевірці гіпотез

При перевірці гіпотез можливі помилки двох типів:

1) помилка першого роду, коли відкидають правильну нульову гіпотезу;

2) помилка другого роду, коли приймають хибну нуль-гіпотезу замість справедливої альтернативної.

Імовірність помилки першого роду позначають α (альфа) і називають рівнем значущості критерію.

Наголосимо, що будь-яка гіпотеза повинна бути сформульована, а рівень значущості α задає сам дослідник завжди до отримання експериментальних даних. Гіпотеза перевіряється на підставі експериментальних даних.

Рівень значущості вибирається, виходячи з практичних міркувань. При цьому дослідник констатує, яку ймовірність помилки він вважає допустимою для його конкретної задачі. Зазвичай, вважається достатнім α=0,05 (5%), іноді  0,01, зрідка  0,001. Стандартні статистичні критерії і довірчі інтервали тісно пов'язані: якщо приймається гіпотеза про рівність значень параметра нормально розподіленої генеральної сукупності деякому фіксованому значенню з рівнем значущості α, то це відповідає довірчому інтервалу в (1α)%. Так, 5%-му рівню значущості відповідає 95%-й довірчий інтервал.

Довірчі інтервали зручні тим, що дають межі істинного значення шуканого генерального параметра, проте мають той недолік, що в більш складних випадках їх досить важко побудувати.

3. Критерії значущості

Критеріями значущості називаються методи, які формально визначають, чи задовольняють вибіркові дані нульову гіпотезу, чи не задовольняють.

Процедура перевірки гіпотез, як правило, має кілька етапів:

1. за вибірковими даними обчислюється значення деякої величини, яка називається критерієм;

2. у відповідній таблиці, за певних умов, відшукується граничне значення критерію;

3. обчислене значення критерію порівнюється з критичним (граничним) значенням;

4. за результатами порівняння робиться висновок: прийняти чи відкинути нульову гіпотезу.

Якщо обчислене за вибіркою значення критерію не перевищує (тобто менше або дорівнює) табличного, то гіпотеза Н₀ приймається на заданому рівні значущості α. В цьому випадку відмінність генеральних сукупностей, яка спостерігається на експериментальних даних, можна пояснити лише випадковістю вибірки. Проте це не означає, що параметри генеральних сукупностей дійсно рівні. Можливо, той статистичний матеріал, який є в розпорядженні дослідника, не дає підстав відкинути нульову гіпотезу про рівність генеральних параметрів. Може з'явитися інший експериментальний матеріал, на підставі якого ця гіпотеза буде відхилена. Якщо виникають сумніви такого характеру, то слід збільшити вибірку або кількість спостережень і все повторити спочатку.

Якщо ж обчислене значення критерію виявляється більшим за граничне (табличне) значення при обраному рівні значущості α, то відмінність між генеральними сукупностями вже не можна пояснити лише випадковостями. В цьому разі гіпотеза Н₀ відхиляється і приймається гіпотеза Н₁ при вибраному рівні значущості α. Кажуть, що відмінність значуща, або достовірна на рівні значущості α.

Критерії значущості поділяються на три типи:

1. Критерії узгодження, які служать для перевірки гіпотез про узгодження розподілу генеральної сукупності, з якої отримана вибірка, з раніше прийнятою теоретичною моделлю (найчастіше, з нормальним розподілом).

2. Критерії значущості, які служать для перевірки гіпотез про параметри розподілів генеральної сукупності (частіше за все, нормального розподілу). Ці критерії називаються параметричними.

3. Критерії, які для перевірки гіпотез не використовують припущень щодо розподілу генеральної сукупності і тому не потребують знання параметрів розподілів, називаються непараметричними.