Лабораторна робота № 4 визначення наявності мультиколінеарності незалежних змінних. Алгоритм ферара-глобера
Для класичної регресійної моделі повинна виконуватися передумова: регресори вільні від істотної колінеарності. Регресори вільні від істотної колінеарності, якщо матриця регресорів розмірністю Т×К має повний стовпчиковий ранг К.
Наслідки колінеарності регресорів:
-
Великі дисперсії і коваріації оцінок регресійних коефіцієнтів.
-
Ускладнення в оцінюванні (ідентифікації) параметрів лінійної регресії.
-
Нестабільність коефіцієнтів регресії.
МІРИ КОЛІНЕАРНОСТІ:
Детермінант
матриці
:
якщо
детермінант рівний нулю - має місце
екстремальна колінеарність, при не
екстремальній колінеарності детермінант
відмінний від нуля, але визначити межу
істотної колінеарністі неможливо.
Детермінант кореляційної матриці: значення детермінанта кореляційної матриці лежать усередині відрізка [-1,1], якщо детермінант рівний нулю - має місце екстремальна колінеарність, чим ближче значення детермінанта до нуля, тим сильніше колінеарність.
Коефіцієнт збільшення дисперсії : коефіцієнтом збільшення дисперсії k-го регресора є k-тий елемент головної діагоналі зворотної матриці кореляції. Чим більше значення цього коефіцієнта, тим сильніше колінеарність між k-тим регресором і іншими регресорами.
Дослідження на наявність мультиколінеарності в регресійній моделі можна провести на основі алгоритму Ферара-Глобера. Він включає наступні кроки:
-
Знаходження кореляційної матриці
.
Меню „Сервіс” – „Аналіз даних” –
„Кореляція”. Отримані данні симетрично
відобразити відносно головної діагоналі. -
Визначення критерію
:
,
(4.1)
значення
цього критерію порівнюється з табличним
при рівні значущості
і числі ступенів свободи
.
Якщо розрахункове значення більше
табличного, то має місце мультиколінеарність.
-
Обчислення матриці, зворотної до кореляційної
. -
Розрахунок F-критеріїв:
,
(4.2)
де
-
діагональний елемент матриці С.
Фактичне значення критерію порівнюється з табличним при К-1 і Т-К і рівнем значущості . Якщо розрахункове значення виявилося більше, значить k-ая змінна колінеарна з іншими.
-
Знаходження частинних коефіцієнтів кореляції:
(к-
номер стовпця,
J-
номер
рядка.)
-
Розрахунок t-критеріїв:
,
(4.3)
якщо
абсолютне фактичне значення критерію
більше, ніж табличне з рівнем значущості
і числом ступенів свободи Т-К, то між
-ой
і
-ой
змінними
існує мультиколінеарність.
Практичне завдання
-
За даними варіанту побудувати регресійну модель, оцінити методом 1МНК регресійних коефіцієнтів.
-
Використовуючи алгоритм Ферара-Глобера, перевірити чи є регресори вільними від істотної колінеарності.
Варіанти практичного завдання
-
ВАРІАНТ 1
ВАРІАНТ 2
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,7
16
40
106
1
2,6
17
40
98
2
3,0
14
39
129
2
2,9
17
41
114
3
2,8
15
37
118
3
2,7
16
45
122
4
2,9
14
41
121
4
2,5
15
50
102
5
2,6
15
32
120
5
2,7
18
52
107
6
2,6
16
31
118
6
2,6
17
50
109
7
2,5
17
33
108
7
2,7
17
48
114
8
2,8
15
39
110
8
2,6
16
49
94
9
2,6
17
44
106
9
2,9
17
50
88
10
2,5
17
39
118
10
2,6
14
45
72
\
-
ВАРІАНТ 3
ВАРІАНТ 4
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,8
17
42
72
1
3,0
13
48
96
2
2,7
18
39
70
2
2,7
17
45
73
3
2,7
16
41
75
3
2,7
16
36
75
4
2,9
17
34
71
4
2,6
16
49
75
5
2,4
17
14
75
5
2,8
18
41
74
6
2,9
15
32
81
6
2,5
12
44
67
7
2,3
20
53
62
7
3,0
18
43
102
8
3,3
11
37
99
8
2,5
18
44
121
9
2,5
17
44
71
9
2,5
16
43
78
10
2,4
20
48
62
10
2,6
17
39
78
-
ВАРІАНТ 5
ВАРІАНТ 6
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,6
16
36
91
1
2,6
16
39
84
2
2,1
17
25
80
2
2,5
18
38
89
3
2,9
14
46
103
3
2,7
17
37
85
4
2,7
15
35
94
4
2,5
18
37
89
5
2,4
19
42
76
5
2,8
17
48
68
6
2,9
16
42
87
6
2,8
14
46
63
7
2,9
16
40
90
7
2,4
15
42
55
8
2,6
18
47
83
8
2,3
17
39
56
9
2,7
15
47
97
9
2,5
17
42
63
10
2,7
16
43
91
10
2,5
15
41
53
-
ВАРІАНТ 7
ВАРІАНТ 8
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,5
18
39
84
1
2,7
16
43
73
2
2,4
18
38
89
2
2,4
19
49
62
3
2,3
16
38
85
3
2,3
32
50
60
4
2,7
15
37
89
4
1,9
31
56
68
5
2,5
15
48
68
5
2,3
32
46
63
6
2,1
16
46
63
6
2,5
33
49
62
7
2,8
20
42
55
7
2,6
31
48
59
8
2,4
14
39
56
8
2,0
35
51
62
9
2,4
17
42
63
9
1,9
33
50
64
10
2,3
18
41
53
10
2,4
35
47
67
-
ВАРІАНТ 9
ВАРІАНТ 10
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,2
35
42
84
1
2,7
15
41
70
2
2,0
35
39
77
2
2,4
19
49
62
3
2,3
44
37
77
3
2,3
32
50
60
4
2,7
32
34
88
4
2,4
41
32
66
5
2,2
37
39
72
5
2,3
39
39
70
6
2,4
41
32
66
6
2,5
33
49
62
7
2,3
39
39
70
7
2,6
31
48
59
8
2,3
36
70
76
8
2,5
15
48
68
9
2,6
43
73
62
9
2,1
16
46
63
10
2,7
31
73
78
10
2,4
20
41
52
-
ВАРІАНТ 11
ВАРІАНТ 12
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
2,6
16
39
84
1
2,7
16
40
106
2
2,5
18
38
89
2
3,0
14
39
129
3
2,6
17
36
85
3
2,5
15
44
111
4
2,3
15
37
89
4
3,0
18
43
102
5
2,4
17
48
68
5
2,5
19
44
121
6
2,8
14
46
63
6
2,6
16
31
118
7
2,9
18
49
60
7
2,5
17
32
108
8
2,7
15
35
87
8
2,9
15
39
110
9
2,5
17
42
63
9
2,6
18
45
106
10
2,5
15
41
53
10
2,5
17
39
119
ВАРІАНТ 13
ВАРІАНТ 14
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
3,6
17
40
85
1
4,5
21,4
50,4
107,1
2
3,5
19
39
90
2
4,4
23,9
49,1
113,4
3
3,6
18
37
86
3
4,5
22,7
46,6
108,4
4
3,3
16
38
90
4
4,2
20,2
47,9
113,4
5
3,4
18
49
69
5
4,3
22,7
61,7
86,9
6
3,8
15
47
64
6
4,8
18,9
59,2
80,6
7
3,9
19
50
61
7
4,9
23,9
63,0
76,9
8
3,7
16
36
88
8
4,7
20,2
45,4
110,9
9
3,5
18
43
64
9
4,4
22,7
54,2
80,6
10
3,5
16
42
54
10
4,4
20,2
52,9
68,0
ВАРІАНТ 15
ВАРІАНТ 16
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
Номер спостереження
Витрати
Вантажообіг
Запаси
Фондомісткість
1
4,4
20,9
49,2
104,6
1
6,2
29,1
68,5
145,7
2
4,3
23,4
48,0
110,7
2
6,0
32,6
66,8
154,2
3
4,4
22,1
45,5
105,8
3
6,2
30,8
63,4
147,4
4
4,1
19,7
46,7
110,7
4
5,7
27,4
65,1
154,2
5
4,2
22,1
60,3
84,9
5
5,8
30,8
84,0
118,2
6
4,7
18,5
57,8
78,7
6
6,5
25,7
80,5
109,7
7
4,8
23,4
61,5
75,0
7
6,7
32,6
85,7
104,5
8
4,6
19,7
44,3
108,2
8
6,3
27,4
61,7
150,8
9
4,3
22,1
52,9
78,7
9
6,0
30,8
73,7
109,7
10
4,3
19,7
51,7
66,4
10
6,0
27,4
72,0
92,5
Лабораторна робота № 5
ПОКРОКОВІ ПРОЦЕДУРИ ПОБУДОВИ
РЕГРЕСІЙНИХ МОДЕЛЕЙ
При побудові регресійної моделі, по розсуду дослідника, до неї можуть бути включені всі пояснюючі змінні чи тільки деякі з них. З одного боку, у модель бажано ввести усі фактори, що впливають на Y, з іншої сторони необхідно уникнути переобтяження моделі надлишковими регресорами. Таким чином, завдання полягає в тім, щоб побудувати максимально точну модель на основі мінімальної кількості факторів, що допускають практично корисну інтерпретацію.
Відомо два основних методи добору змінних, котрі ввійдуть у рівняння регресійної моделі:
1) Метод виключення змінних
2) Метод включення змінних
Метод виключення змінних реалізується наступним чином. Спочатку визначається таке рівняння (модель), до якого входять усі K пояснюючих змінних. Для цієї моделі визначаються характеристики якості, F-критерій, а також t-статистики для усіх коефіцієнтів. Потім визначають найменш значущий регресор та на наступному кроці моделювання виключають його з моделі. При цьому розраховують нове оціночне рівняння, що описує вплив (K-1) змінних, що залишились, на Y. На кожному наступному кроці із “попереднього” рівняння моделі виключають найменш значущий регресор та будують нове МНК-оцінене рівняння. Діють таким чином до тих пір, доки в моделі не залишаться лише статистично значущі коефіцієнти.
Поряд із прямим методом виключень можна застосовувати розширений метод виключень з побудовою дерева моделей.
Метод включення змінних полягає в тому, що змінні вводяться в модель по крокам.
На підготовчому етапі побудови моделі проводиться кореляційний аналіз - визначаються парні коефіцієнти кореляції. Перший стовпець кореляційної матриці показує залежність між пояснювальною змінною і пояснюючими. В інших стовпцях - коефіцієнти попарної кореляції пояснюючих змінних. У результаті аналізу кореляційної матриці одержуємо упорядкований список змінних по ступені убування взаємозв’язку з Y.
На
першому кроці будуємо модель парної
регресії Y від найбільш впливовий
змінний, коефіцієнт кореляції якої з Y
найбільший. У тому випадку, якщо модель
значима, у неї вводиться наступна змінна
і повторюється процедура МНК-оцінки
коефіцієнтів „нової” моделі, її якості,
а також перевірка значимості моделі в
цілому і
-
коефіцієнтів.
Алгоритм уведення змінних повторюється доти поки чергова модель має показник якості краще попередньої, або поки не вичерпається запас значущих змінних.