3.3. Мнк для парної лінійної регресії

Зв’язок між показником та фактором з урахуванням можливих відхилень запишемо у вигляді:

де – результативна змінна; – факторна змінна; – стохастична складова, яка вводиться до моделі з метою урахувати наявність впливу факторів, які не входять до моделі, – параметри моделі.

Залежність:

де та – оцінки параметрів моделі, яка характеризує середнє значення показника для кожного значення фактора, називається регресією.

Щоб оцінити параметри моделі необхідно сформувати сукупність спостережень, кожна одиниця якої характеризуватиметься значеннями змінних та . Множину точок на координатній площині, які відповідають парам значень показника та фактора, називають кореляційним полем точок.

На підставі гіпотези про лінійність зв’язку між показником та фактором, через кореляційне поле точок можна провести безліч прямих, які різняться між собою параметрами та . Те, що відхилення фактичних значень від розрахункових матимуть переважно знак «-» чи «+» , підтверджує, що вони мають невипадковий характер, тобто пряма лінія неадекватно описує залежність.

Справжні значення параметрів обчислити не можливо, оскільки ми маємо обмежене число спостережень, тому знайдені розрахункові значення параметрів та є статистичними оцінками справжніх параметрів і .

Принцип найменших квадратів відхилень полягає в знаходженні таких оцінок та , для яких сума квадратів відхилень теоретичних значень показника від фактичних найменша. Необхідна умова для цього – рівні нулю частинні похідні цієї функції за кожною з оцінок параметрів та .

Тоді

Виконавши елементарні перетворення, дістанемо систему нормальних рівнянь:

Розв’язавши цю систему, ми отримаємо формули, на основі яких можна обчислити значення оцінок параметрів та :

, .

Остання формула випливає не з системи рівнянь, а з суті методу найменших квадратів. Оцінки найменших квадратів такі, що лінія регресії обов’язково проходить через точку . Підставивши середні значення змінних в рівняння регресії, ми знайдемо оцінку параметра .

3.4. Поняття про ступені вільності

Кількість ступенів вільності показує, скільки незалежних елементів інформації, що утворились з елементів , потрібно для розрахунку даної суми квадратів.

В статистиці кількістю ступенів вільності пев­ної величини часто називають різницю між кількістю різних дослідів і кількістю констант, знайдених завдяки цим дослідам незалежно один від одного. Окреме застосування цього поняття відноситься до суми квадратів.

Розглянемо, скільки ступенів вільності має кожна визначена сума квадратів.

Почнемо із загальної суми квадратів. Для її утворення потрібно незалежних чисел, тому що з чисел незалежні тільки завдяки властивості:

Суму квадратів, що пояснює регресію, отримують, використовуючи тільки одну незалеж­ну одиницю інформації, яка утворюється з , а саме .

Покажемо, що, справді, нахил можна подати як функцію від .

Запишемо відхилення, що пояснює регресію у вигляді: . Маємо:

Отже, суму квадратів, що пояснює просту лінійну регресію, можна утворити, використовуючи тільки ну одиницю незалежної інформації, а саме (для випадку багатофакторної регресії маємо іншу ситуацію, яку розглянемо пізніше). Звідси розглядувана сума квадратів має один ступінь вільності. Потрібно звернути увагу на те, що ступінь вільності в даному разі збігається з кількістю залежних змінних, що входять у регресійну модель. Сума квадратів помилок має ступенів вільності. Ця сума базується на кількості ступенів вільності, яка дорівнює різниці між кількістю спостережень і кількістю параметрів, що оцінюються. У разі простої лінійної регресії оцінюються два параметри та . Якщо позначити кількість спостережень через , то для цієї суми квадратів маємо ступенів вільності.

У разі простої лінійної регресії ступені вільності, як і суми квадратів, можна розкласти таким чином: .

3.5. -тест Ст’юдента для перевірки на значимості