16.2. Метод найменших квадратів

Метод найменших квадратів (МНК) є одним із методів регресійного аналізу, який використовується для статистичного оцінювання параметрів регресійної моделі за емпіричними даними. Згідно з цим методом параметри моделі повинні відповідати такому рівнянню регресії, що забезпечує найменше значення суми квадратів відхилень емпіричних даних від тих, що обчислені за рівнянням регресії. Так, з двох різних наближень тієї ж самої емпіричної функції, що задана у вигляді таблиці, кращим вважається те, для якого сума квадратів відхилення має найменше значення. Для ілюстрації суті методу найменших квадратів можна розглянути рис. 16.1.

Рис. 16.1. Ілюстрація методу найменших квадратів

Графік функції проходитиме таким чином, щоб різниця між значеннями функції та ординатами емпіричних точок була б якомога менше.

Основи метода найменших квадратів були розроблені Карлом Фрідріхом Гауссом у зв’язку з задачами, що вирішуються теорією помилок, тобто математичною теорією, яка досліджує точність результатів вимірювань. До речі, Гаусс настільки ретельно провів дослідження нормального розподілу випадкових похибок, що їх крива щільності ймовірностей має назву гауссіани.

Узагальнення умов застосування методу найменших квадратів сформульовано у теоремі Гаусса – Маркова.

Теорема Гаусса – Маркова. Якщо прийняти припущення моделі:

1. , де , – обсяг вибірки (кількість емпіричних точок);

2. – детермінована величина (у загальному випадку це матриця результатів спостережень -вимірної випадкової величини , що відповідає сукупності зовнішніх факторів);

3. , , де – матриця коваріацій (попарних варіацій) похибок, – похибка -го вимірювання;

4. при , де і – номери вимірювань,

то оцінки параметрів , які отримані за МНК, мають найменшу дисперсію серед усіх лінійних незсунутих оцінок, тобто ці оінки є ефективними.

Розглянемо сенс кожної з умов теореми Гаусса – Маркова.

Умова 1 визначає специфікацію моделі, тобто кількість факторів, що розглядаються в межах моделі, і форму зв’язку між ними.

Умова 2 уточнює, яка саме випадкова величина є зовнішнім (екзогенним) фактором моделі.

Умова 3 означає, що математичне сподівання помилки дорівнює нулю, а дисперсія помилок є сталою величиною, тобто не залежить від номера спостереження. Остання властивість має назву гомоскедастичності.

Умова 4 вказує на некорельованість помилок різних спостережень. Якщо ця умова порушується, то виникає автокореляція залишків.

Моделі, які побудовані з використанням методу найменших квадратів при виконанні умов теореми Гаусса – Маркова, називаються класичними економетричними моделями, а сам метод їх побудови називається 1МНК, тобто однокроковий метод найменших квадратів.

16.3. Оцінювання параметрів моделі за методом мнк

Розглянемо застосування методу найменших квадратів до визначення параметрів рівняння регресії на прикладі системи двох випадкових величин і , тобто так званий випадок парної регресії.

Для лінійної моделі маємо умовне рівняння:

. (16.7)

За методом 1МНК складемо функцію суми квадратів нев’язок:

та знайдемо її частинні похідні за невідомими оцінками параметрами і , які відповідно до необхідної умови екстремуму повинні дорівнювати нулю. У результаті отримуємо систему рівнянь:

Після перетворень система нормальних рівнянь набуває вигляду:

(16.8)

Якщо кожне рівняння поділити на обсяг вибіркової сукупності , то отримуємо систему нормальних рівнянь, коефіцієнтами якої є оцінки основних числових характеристик двовимірної випадкової величини:

(16.8^І)

Цю ж систему можна записати в матричній формі.

Отже, отримуємо рівняння:

, (16.9)

де відповідно до означень

; ;

; .

Розв’язуючи рівняння (16.9) відносно невідомих параметрів за методом оберненої матриці, маємо:

, (16.10)

де , – статистичні оцінки параметрів рівняння парної лінійної регресії, або МНК–оцінки.

Оцінки параметрів рівняння регресії, що отримуємо за 1МНК, відповідають усім вимогам до статистичних оцінок, а саме: незсунутість, спроможність та ефективність.

Надання оцінок параметрів регресійної моделі у формі (16.10) фактично означає, що для розв’язання системи нормальних рівнянь (16.8^І) було застосовано метод оберненої матриці. Згідно з означенням оберненої матриці співвідношення (16.10) набуває вигляду:

. (16.11)

За співвідношенням (16.11) знаходимо параметр :

або, приймаючи до уваги означення вибіркового коефіцієнта кореляції, отримуємо:

. (16.12)

Значення можна також визначити за співвідношенням (16.11), однак після того, як знайдено значення параметра , зручно скористатись наступними міркуваннями. Оскільки координати точки , тобто центра вибіркової сукупності, повинні задовольняти рівняння регресії, то для визначення статистичної оцінки параметра маємо співвідношення:

. (16.13)

Приклад. Вибіркова сукупність містить дані щодо значень внутрішнього фактора залежно від рівня значущості зовнішнього (детермінованого) фактора , які надані у вигляді таблиці (табл. 16.1).

Таблиця 16.1