- •Змістовий модуль 1 первинна математико-статистична обробка експериметальних даних
- •Вимірювання величин. Точність вимірювання
- •1.2. Випадкові величини та їх статистична характеристика
- •1.3. Експериментальні дослідження, їх статистична характеристика
- •1.4. Вибірковий метод дослідження
- •2.1. Основні етапи первинної обробки експериментальних даних
- •2. 2. Обчислення основних числових статистичних характеристик вибірки та їх суттєва інтерпретація
- •2.3. Перевірка статистичних гіпотез
- •2.3.1. Відсів грубих похибок
- •Перевірка однорідності декількох вибірок початкових даних
- •2.3.3. Перевірка гіпотези про значущість різниць двох середніх
- •2.3.4. Перевірка гіпотези нормальності розподілу експериментальних даних
- •Змістовий модуль 2 математико-статистичні методи аналізу парних залежностей дослідних даних
- •3.1. Види залежностей величин
- •3.2. Загальні поняття про статистичні методи аналізу парних залежностей
- •4.1 Загальні поняття
- •4.2. Статистична оцінка кореляційного зв'язку між показниками, які контролюються
- •5.1. Загальні поняття
- •5.2. Загальна схема регресійного аналізу
- •5.3. Вибір загального вигляду функції регресії
- •5.4. Метод найменших квадратів
- •5.5. Обчислення оцінок невідомих параметрів лінійної функції регресії
- •5.6. Обчислення оцінок невідомих параметрів квадратичної функції регресії
- •5.7. Обчислення оцінок невідомих параметрів кубічної функції регресії
- •5.8. Статистична оцінка адекватності рівняння регресії
- •Змістовий модуль 3 багаточинникові експерименти
- •7.1. Загальні поняття
- •7.2. Планування порівняльних експериментів
- •7.3. Планування екстремальних експериментів
- •7.4. Статистична обробка та інтерпретація результатів екстремального експерименту
- •7.4.1. Обчислення дисперсії експерименту
- •7.4.2. Обчислення значень коефіцієнтів функції відгуку параметра оптимізації
- •7.4.3. Перевірка адекватності функції відгуку параметра оптимізації
- •7.4.4. Перевірка значущості коефіцієнтів множинної функції регресії
- •7.4.5. Інтерпретація результатів експерименту
- •Література
2.3.4. Перевірка гіпотези нормальності розподілу експериментальних даних
Для статистичних методів побудування емпіричних залежностей дуже важливо, щоб результати спостережень підлягали нормальному закону розподілу, тому перевірка нормальності розподілу - основний зміст попередньої обробки результатів спостережень з метою вивчення закономірностей впливу.
Для експериментатора було б великою помилкою провести, наприклад, регресійний аналіз за результатами спостережень, не перевіривши чи підлягають результати даного експерименту очікуваному граничному розподілу, чи узгоджується розподіл, що спостерігається, з очікуваним теоретичним розподілом. Важливість обов'язкової перевірки гіпотези нормального розподілу при попередній обробці дослідних даних зумовлена тим, що наявність оптимальних властивостей у метода найменших квадратів, за допомогою якого визначаються коефіцієнти регресійного рівняння, тісно пов'язана з нормальністю вектора похибок.
Для не дуже великих вибірок (п < 120) можна знайти прості рекомендації для перевірки нормальності розподілу.
Перевірку гіпотези нормальності розподілу для порівняно широкого класу вибірок 3 < п < 1000 можна виконати за допомогою метода, який використовує розмах варіювання R, а для вибірок з п > 20 також з використанням критерію χ2 (хі-квадрат). Причому перший метод служить для швидкої "прикидової" перевірки, а другий - для ґрунтовної перевірки нормальності розподілу.
Умова справедливості гіпотези нормальності розподілу за першим методом – розрахункове значення відношення розмаху варіювання до середньоквадратичного відхилення повинно бути в інтервалі значень нижньої і верхньої критичних меж із прийнятою ймовірністю Р (значущості α = 1− Р).
Умова справедливості гіпотези нормальності розподілу за другим методом – розрахункове значення χ2- критерію не повинно перевершувати критичне значення χ2 – критерію з прийнятою ймовірністю і степені волі.
Необхідно також відзначити, що перевірка нормальності розподілу проводиться тільки для результатів з коефіцієнтом варіації менше ніж 33% (Vх < 0,33).
Приклад 2.5. Вище було доказано (приклад 2.3), що середні дані комплексного показника якості для вивченого асортименту м'ясних тушкованих страв належать до загальної генеральної сукупності, тобто вони однорідні. На цій підставі всі експериментальні дані по всім м'ясним тушкованим стравам поєднаємо і для загальної вибірки (п = 38) перевіримо гіпотезу нормальності розподілу дослідних даних по: а) варіаційному розмаху та б) χ2-критерію.
Дослідні дані та результати їх попередньої обробки подані в таблиці 2.4.
Варіант А.
Обчислимо розмах варіювання
=
0,975 - 0,720 = 0,255 .
Розрахуємо основні статистики: середню величину, стандартне відхилення і коефіцієнт варіації.
= 33,149/38 = 0,872;
Підрахуємо відношення:
=
0,255/0,057 = 4,47
.
Таблиця 2. 4 – Дані для обчислення статистичних характеристик
Найменування зразка |
i |
Показник якості |
di = (xi−X) ×103 |
di2 = (xi−X)2 ×106 |
Яловичина духова |
1 |
0,802 |
- 7 |
49 |
|
2 |
0,735 |
-137 |
18769 |
|
3 |
0,870 |
- 2 |
4 |
|
4 |
0,805 |
- 67 |
4489 |
|
5 |
0,903 |
31 |
961 |
Яловичина в кисло-солодкому соусі |
6 |
0,975 |
103 |
10609 |
|
7 |
0,844 |
- 28 |
784 |
|
8 |
0,924 |
52 |
2704 |
|
9 |
0,886 |
14 |
196 |
|
10 |
0,900 |
28 |
784 |
Гуляш із яловичини |
11 |
0,959 |
87 |
7569 |
|
12 |
0,863 |
- 9 |
81 |
|
13 |
0,873 |
1 |
1 |
|
14 |
0,833 |
- 39 |
1521 |
Яловичина тушкована з цибулею |
15 |
0,947 |
75 |
5625 |
|
16 |
0,813 |
- 59 |
3481 |
|
17 |
0,867 |
- 5 |
25 |
|
18 |
0,856 |
- 16 |
256 |
|
19 |
0,950 |
78 |
6084 |
|
20 |
0,919 |
47 |
2209 |
Рагу з баранини |
21 |
0,851 |
- 21 |
441 |
|
22 |
0,818 |
- 54 |
2916 |
|
23 |
0,905 |
33 |
1089 |
|
24 |
0,858 |
- 14 |
196 |
|
25 |
0,866 |
- 6 |
36 |
|
26 |
0,879 |
7 |
49 |
Рагу зі свинини |
27 |
0,906 |
34 |
1156 |
|
28 |
0,917 |
45 |
2025 |
|
29 |
0,790 |
- 82 |
6724 |
Свинина, тушкована з капустою |
30 |
0,867 |
- 5 |
25 |
|
31 |
0,920 |
48 |
2304 |
|
32 |
0,720 |
-152 |
23104 |
|
33 |
0,849 |
- 23 |
529 |
Ковбаса, тушкована з капустою |
34 |
0,926 |
54 |
2916 |
|
35 |
0,838 |
- 34 |
1156 |
|
36 |
0,926 |
54 |
2916 |
|
37 |
0,834 |
- 38 |
1444 |
|
38 |
0,955 |
83 |
6889 |
|
|
33,149 |
|
122116 |
Порівняємо його з критичними верхніми та нижніми межами, що приведені в додатку 6. При Р = 0,95 (α = 0,05) та п = 38 нижня та верхня межі мають значення 3,64 та 5,11. При Р = 0,9 (α = 0,1) відповідно 3,75 та 4,91.
Якщо розрахункове значення відношення менше нижньої або більше верхньої межі, то нормального розподілу немає. Особливо важливо, щоб ця умова додержувалась при рівні значущості α = 10%.
У прикладі, який розглядається, розрахункове значення лежить між табличними критичними нижніми та верхніми значеннями як при α = 0,1, так і при α = 0,05. Отже, гіпотеза нормальності розподілу підтверджується по вибраному критерію − розмаху варіювання (R).
Варіант Б.
Розглянемо методику перевірки гіпотези нормальності розподілу по χ2- критерію.
Нехай
ми маємо підстави вважати, що результати
вимірів розподілені відповідно
до
закону Гауса (нормально). В експериментах,
як правило, невідомі наперед ні центр
,
ні
ширина
розподілу,
що
очікується. Таким чином, нашим першим
кроком
буде облік найкращих оцінок
для цих величин
по п
результатам
вимірів
.
Другим
кроком
буде ділення всього інтервалу можливих
значень на біни
(групи).
Кількість
бінів потрібно
вибирати таким чином, щоб всі
біни
мали по декілька виміряних значень хі.
Наприклад,
чотири біни, у яких межі при:
-
,
та
+
,
N
=
4 (рисунок 2.1).
У даному випадку дві рівні площі Р2 та Р3 в сумі дають приблизно 68%, так що ймовірність попадання в один з двох центральних бінів складає приблизно 34%, тобто Р2 = Р3 ≈ 0,34. Дві зовнішні площадки складають решту - ≈ 32%, тобто Р1 = Р4 ≈ 0,16 (додаток 7, t = 1). Відповідно до ймовірностей визначається очікувана кількість вимірів для кожного біна Ек = п×Рк. "Очікувана кількість" - це не та, яку ми дійсно очікуємо в будь-якому окремому експерименті; це скоріше середня очікувана кількість, яка вийде, коли ми повторимо всю серію вимірів багато разів.
Рисунок 2.1 − Інтеграл ймовірностей нормального розподілу для 4-х бінів
Третім кроком буде оцінка узгодженості очікуваної кількості вимірів у кожному біні з відповідними числами Ок, що спостерігаються (дослідними).
Якщо наша гіпотеза про те, що результати вимірів розподілені нормально вірна, то ми очікували б, що в деякому значенні відхилення Ок - Ек будуть малі. Та навпаки, якщо б виявилось, що відхилення Ок - Ек великі, то наша гіпотеза невірна.
Число χ2 служить показником того, наскільки добре узгоджуються розподіли, що спостерігаються та очікуються.
χ2
=
. (2.13)
Якщо χ2 = 0, то узгодження ідеальне, тобто Ок - Ек для всіх бінів (k = 1,... ,N), що в крайній мірі неймовірно. У загальному випадку окремі члени суми повинні бути порядку 1, а в сумі N членів. Якщо χ2 ≤ N, то розподіли, що спостерігаються та очікуються, узгоджуються настільки добре, наскільки можна було б очікувати.
З іншого боку, якщо χ2 >> N, то числа, що спостерігаються та очікуються, значно відрізняються, і є всі підстави підозрівати, що результати наших вимірів не розподілені відповідно до очікуваного (нормального) закону.
Очікувані числа Ек не повинні бути занадто малі, хоча не існує визначеної нижньої межі, однак Ек повинно бути, ймовірно, не менше 5 (Ек ≥ 5). Тому ми повинні вибирати біни таким чином, щоб Ек ≥ 5. кількість бінів не повинна бути занадто мала (N ≥ 4). Виходячи з цього, неможна використовувати критерій χ2 в експериментах, якщо повна кількість спостережень менше 20.
Застосуємо приведену методику до поданих в таблиці 2.4 даних. Поділимо весь інтервал приведених значень (0,720... 0,975) на чотири біни з межами між ними: 0,872−0,057; 0,872; 0,872+0,057. Таким чином, у біні 1 хі < 0,815; у біні 2 хі = 0,815... 0,872; у біні 3 хі = 0,872.. .0,929; у біні 4 хі > 0,929. Результати процедури обчислення χ2-критерію зведемо в таблицю 2.5.
Таблиця 2.5 − Процедура обчислення χ2-критерію
Бін, k |
1 |
2 |
3 |
4 |
Ймовірність Рк , % |
15,87 |
34,13 |
34,13 |
15,87 |
Очікувальна кількість Ек = 38×Рк |
6,03 |
12,97 |
12,97 |
6,03 |
Кількість, що спостерігається Ок |
6 |
14 |
13 |
5 |
Відхилення Ок − Ек |
-0,03 |
+1,03 |
+0,03 |
-1,03 |
Обчислимо χ2-критерій по (2.13).
χ2 = 0,032/6,03+1,032/12,97+0,032/12,97+1,032/6,03 = 0,2579.
Так як обчислена за (2.13) величина χ2 = 0,2579 менш ніж кількість бінів (4), то в нас немає підстав сумніватись у гіпотезі, що результати наших вимірювань розподілені нормально.
У [15] пропонується трохи інша методика обліку χ2-критерію:
1) розбивають масив початкових даних на класи
k = 1 + 3,32×1g (п) (2.14)
при п = 38 k = 6,24; приймаємо 6 класів ;
2) визначають довжину інтервалів
(2.15)
b = 0,255/6 = 0,0425; приймаємо b = 0,05;
визначають середину класів х ;
підраховують частоти для всіх класів В ;
обчислюють для всіх класів В×х та В×х2- ;
обчислюють оцінки розподілу експериментальних даних
;
(2.16)
;
(2.17)
7) обчислюють множник
k' = п×b / . ; (2.18)
8) визначають ординати кривої експериментального розподілу
;
(2.19)
9) формують вектор-стовбець функції нормального розподілу f(z), використовуючи таблиці ординат стандартної нормальної кривої (додаток 8);
10) обчислюють для всіх класів очікувану по стандартному нормальному розподілу частоту
;
(2.20)
Якщо
для будь-якого класу
< 5,
то цей клас поєднують з сусіднім та
обчислюють очікувану частоту як суму
-
;
обчислюють різницю між частотою В, що спостерігається, та очікуваною частотою по стандартному розподілу Е та квадрат цієї різниці (В−Е)2 ;
обчислюють χ2 за формулою
;
(2.21)
13)
використовуючи табличне значення χ2
(додаток
9), перевіряють умову χ2розр.
< χ2табл.
при
степені свободи ν
=
N−1−2,
оскільки
оцінюються
два
параметри:
та
(N
- кількість
"повноцінних" класів).
Кількість степенів
свободи
ν
= 4−3 = 1,
рівень
значущості α
приймаємо
0,05 (ймовірність 0,95). Якщо вказана умова
додержується, то гіпотеза нормальності
розподілу може бути прийнята на 5%-у
рівні.
В таблиці 2.6 відповідно до приведеної методики виконано обчислення χ2-критерію для експериментальних даних комплексного показника якості м'ясних тушкованих страв. Обчислення , , k' проводили за (2.16) - (2.18).
χ2(ν,α) = χ2табл.(1, 5%) = 3,841 > χ2розр. = 0,4806 .
Висновок: частоти комплексного показника якості м'ясних тушкованих страв, що спостерігаються, розподілені нормально.
Можна використати методику обліку χ2-критерію, викладену в [25]:
результати вимірів групують по інтервалам таким чином, щоб ці інтервали покривали всю ось (від −∞ до +∞) та щоб кількість даних у кожному інтервалі була достатньо великою (у всякому разі не менше п'яти, краще десяти);
для кожного інтервалу підраховують кількість ті результатів вимірів, що потрапили до цього інтервалу;
обчислюють ймовірність Р попадання до цього інтервалу при нормальному законі розподілу ймовірностей
Рі = Ф×[(хі - )/ ] − Ф×[(хі-1 - )/ ] , (2.22)
де Ф - інтеграл ймовірностей нормального розподілу;
- середнє арифметичне значення результатів вимірів;
-
середня квадратична помилка (
);
обчислюють суму
;
(2.23)
де l - кількість усіх інтервалів (−∞ ÷ х1), (х1 ÷ х2 ), … , (хl-1 ÷ +∞) ;
п
- кількість
усіх
результатів вимірів (п
=
).
Таблиця 2.6 – Процедура обчислення χ2-критерію
Інтервал |
Середи-на ін-тервалу х |
Час-тота В |
х2 |
Вх |
Вх2 |
|
|
|
|
Час-тота Е |
В − Е |
(В-Е)2 |
(В-Е)2 Е
|
0,720÷0,770 |
0,745 |
2 |
0,555 |
1,490 |
1,110 |
-0,124 |
2,10 |
0,0440 |
1,42 |
|
|
|
|
0,770÷0,820 |
0,795 |
5 |
0,632 |
3,975 |
3,160 |
-0,074 |
1,25 |
0,1826 |
5,88 |
7,30 |
0,30 |
0,09 |
0,0123 |
0,820÷0,870 |
0,845 |
13 |
0,714 |
10,985 |
9,282 |
-0,024 |
0,41 |
0,3668 |
11,81 |
11,81 |
1,19 |
1,42 |
0,1199 |
0,870÷0,920 |
0,895 |
10 |
0,801 |
8,950 |
8,010 |
0,026 |
0,49 |
0,3538 |
11,39 |
11,39 |
1,39 |
1,93 |
0,1696 |
0,920÷0,970 |
0,945 |
7 |
0,893 |
6,615 |
6,251 |
0,076 |
1,29 |
0,1736 |
5,59 |
6,89 |
1,11 |
1,23 |
0,1788 |
0,970÷1,020 |
0,995 |
1 |
0,990 |
0,995 |
0,990 |
0,126 |
2,14 |
0,0404 |
1,30 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
38 |
|
33,01 |
28,803 |
|
|
|
|
|
|
|
0,4806 |
=
33,01/38 = 0,869 ;
= 0,059 ; k ' = 38×0,05/0,059 = 32,2
Якщо сума виявиться більше критичного значення χ2 (додаток 9) за деякої певної ймовірності Р та кількості степенів свободи k = l−3, то з надійністю Р можна вважати, що розподіл ймовірностей випадкових помилок відрізняється від нормального. Якщо ж отримана сума не перевищує критичне (табличне) значення χ2, то гіпотеза про нормальність розподілу експериментальних даних приймається.
Візьмемо інтервальний ряд даних, вказаних в таблиці 2.6. Значення параметрів нормального розподілу для цього ряду були визначені ( = 0,869 та = 0,059).
Для застосування критерію χ2 поєднаємо крайні інтервали, щоб кількість даних в кожному інтервалі стала не менше п'яти. Одержані дані представлені в двох перших стовбцях таблиці 2.7. Крайні інтервали взяті нескінченними.
У третьому стовбці підраховані стандартні відхилення t по (2.19) для правих кінців інтервалів.
Наприклад,
(0,820−0,869)/0,059
= −0,831.
Таблиця 2.7 – Процедура обліку χ2-критерію
Інтервали хі-1 ; хі |
ті |
|
Ф(tі) |
Рі = Ф(tі-1) −Ф(tі) |
Еі = п×Рі |
ті −Еі |
(ті−Еі)2 Еі |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
− ∞ ; 0,820 |
7 |
−0,831 |
−0,2969 |
0,2031 |
7,72 |
−0,72 |
0,0672 |
0,820; 0,870 |
13 |
0,017 |
0,0068 |
0,3037 |
11,54 |
1,46 |
0,1847 |
0,870; 0,920 |
10 |
0,864 |
0,3062 |
0,2994 |
11,38 |
−1,38 |
0,1667 |
0,920; + ∞ |
8 |
+ ∞ |
0,5000 |
0,1938 |
7,36 |
0,64 |
0,0549 |
|
|
|
|
|
|
|
|
|
38 |
|
|
1,0000 |
38,00 |
χ2 = |
0,4735 |
У четвертому стовбці подані відповідні значення інтегралу ймовірностей Ф(tі) (додаток 7). По значенням Ф(tі) у п'ятому стовбці обчислені ймовірності Р як різниця подальших значень Ф(tі). Враховано, що Ф(-∞) = 0,5. У шостому стовбці приведено очікувану кількість експериментальних даних, які потрапляють до даного інтервалу відповідно до приведеної ймовірності (п = 38). У сьомому стовбці вказані відхилення між дослідною та очікуваною кількістю вимірів, що входять до інтервалу. В останньому стовбці приведені відносні величини квадрату відхилень кількості даних, що очікуються та що спостерігаються, у кожному інтервалі.
Табличне критичне значення χ2 при надійності Р = 0,95 та кількості степенів свободи k = 4-3 = 1 дорівнює 3,841, що значно (приблизно у 8 разів) більше розрахункового значення χ2 = 0,4735. Таким чином, гіпотеза про нормальність розподілу експериментальних даних приймається.
*
* *
У даному розділі представлена основна методика підготовки даних, що одержані в дослідах, до подальшого аналізу (як предметно-суттєвому, так і статистичному) та методика первинної статистичної обробки дослідних даних.
Предметне-суттєвий аналіз буде проведено більш переконливо, доказово та обґрунтовано в тому випадку, коли дослідні дані оброблені статистично більш широко, тобто крім обчислення основних статистичних характеристик перевірено ряд, хоч би самих основних, статистичних гіпотез.
Якщо експеримент ставиться з метою виявлення взаємозалежностей, то рекомендується обов'язково перевірити гіпотезу нормальності розподілу дослідних даних, так як в цьому випадку методи обробки та аналізу одержаних даних передбачають, що вони розподілені нормально.
