Лекція 10. Регресивний аналіз.

В багатьох підсистемах має місце функціональний зв'язок між двома або більшою кількістю змінних і бажано цей зв'язок виявити. Частіше всього функціональний зв'язок досить складний або зовсім невідомий. В цьому випадку висувається гіпотеза про характер функціональної залежності, тобто функціональна залежність апроксимується деяким простим математичним виразом, наприклад, лінійним виразом або багаточленом. Для пошуку таких математичних функціональних або структурних залежностей між двома або більшою кількістю змінних по експериментальних даних застосовуються методи регресивного і кореляційного аналізу.

Регресивний аналіз дає можливість побудувати, виходячи з експериментальних даних, рівняння, вид якого задає аналітик, а кореляційний аналіз дозволяє робити висновок на скільки добре експериментальні точки узгоджуються з вибраним рівнянням, тобто накладаються на відповідну криву. Припустимо, що ми маємо значення вихідної величини y(y1,y2,...,yn>), які були отримані при відповідних значеннях вхідної змінної x(x1,x2,...,xn). Нанесемо точки (x1,y1), (x2,y2),..., (xn,yn) на графік в прямокутній системі координат (рис. 10.1). В результаті отримаємо діаграму розкиду, з якої візуальним способом можна знайти плавну криву, яка апроксимує функціональну залежність.

Рис. 10.1. Графічне відображення експериментальних даних.

Задача знаходження для апроксимуючих кривих таких рівнянь, які найкраще відображають дану сукупність експериментальних точок умовно називають задачею підгонки кривих по точках. Перш за все, необхідно вибрати вид кривої, для якої будемо шукати апроксимуюче рівняння.

Приклади рівнянь (рис. 10.2):

1. лінійна залежність y=a₀+a₁x;

2. квадратична залежність y=a₀+a₁x+a₂x²;

3. кубічна залежність y=a₀+a₁x+a₂x²+a₃x³;

4. багаточлен n-ної степені y=a₀+a₁x+...+a_nxⁿ;

5. гіпербола y=1/(a₀+a₁x) або 1/y=a₀+a₁x;

6. логарифмічна залежність y=a₀+a₁lgx;

7. кубічна логарифмічна залежність lgy=a₀+a₁lgx;

8. експоненціальна залежність y=ab^x або lgy=a₀+a₁x;

Рис. 10.2. Графіки деяких функціональних залежностей.

Іноді буває корисно дослідити діаграму розкиду, перетворивши змінні. Для цього можна скористатися напівлогарифмічною або логарифмічною сіткою, на якій відповідно масштаб по одній або обох осях координат вибраний логарифмічним. При цьому, якщо діаграма розкиду в системі координат x-lgy стає лінійною, слід скористатися рівнянням lgy=a0+a1x. Якщо діаграма лінійна в масштабі lgx - lgy слід взяти апроксимуюче рівняння кубічної логарифмічної кривої. Для підгонки кривої часто застосовується метод найменших квадратів. Розглянемо його застосування на прикладі (рис.10.3). Через (х1, у1),(х2, у2),...,(хn, уn) позначимо координати експериментальних точок.

Рис. 10.3. Ілюстрація методу найменших квадратів.

Для будь-якого заданого xі будемо знаходити різницю між yi і відповідним значенням, яке отримується по теоретичній кривій при xi. Позначимо цю різницю символами Di і будемо називати її відхиленням. Це відхилення може бути додатнім, від'ємним або нульовим. Тоді мірою якості наближення кривої до експериментальних даних можна рахувати суму абсолютних відхилень |D1| + |D2| +... + |Dn|

Оскільки відхилення можуть бути як додатніми, так і від'ємними простіше піднести їх до квадрату і розглядати суму останніх, як функцію, мінімальне значення якої відповідає апроксимуючій кривій, яка є найкращим наближенням експериментальних даних. Так визначається критерій наближення по методу найменших квадратів.

Математичний метод, який забезпечує таку підгонку вибраної кривої, при якій експериментальні точки накладаються на неї найкращим чином в сенсі критерію найменших квадратів називається регресивним аналізом. Під наближенням кривої до експериментальних даних будемо розуміти тільки процес обчислення значень констант або параметрів таким чином, щоб сума квадратичних відхилень була мінімальною. Аналітик повинен попередньо вибрати найкраще апроксимуюче рівняння. Розглянемо найпростіший випадок лінійної регресії. Основна модель лінійного співвідношення між залежною змінною y і незалежною x задається рівнянням:

y=a₀+a₁x;

Тоді Di=a0+a₁x_i-yi - відхилення в точці xi;

- функція найменших квадратів (функція похибки).

Для знаходження коефіцієнтів a0 і a1, при яких функція F є мінімальною, будемо застосовувати методи математичного аналізу. Для цього часткові похідні по a0 і a1, прирівнюються нулю.

В матричному виді ці рівняння мають вид

За методом Крамера знаходимо коефіцієнти:

Розглянемо приклад. Припустимо, що ми маємо 4 експериментальні точки n=4 і хочемо отримати лінійну апроксимацію цієї сукупності даних. Відповідні обчислення приведені в наступній таблиці

Сума	x	y	x2	xy
	0	1	0	0
	2	4	4	8
	2	3	4	6
	3	5	9	15
	7	13	17	29

a0=(13*17-7*29)/(4*17-49)=0.947

a1=(4*29-7*13)/(4*17-49)=1.316.

Таким чином

y=0.947+1.316x