3.2. Многофакторные модели прогнозирования
Оценка
параметров модели при
>
(
– количество независимых переменных)
остается такой же, как и для однофакторных
моделей
,
но определения
и
принимают следующий вид
,
где – матрица наблюдаемых значений независимых переменных; – вектор оценок параметров модели; – количество наблюдаемых значений независимых переменных.
Проверка параметров модели на значимость, определение стандартных ошибок параметров модели и самого уравнения, а также стандартная оценка ошибки прогноза выполняются по тем же формулам, что и для однофакторной модели.
Линейную многофакторную модель можно представить в следующем виде
.
На данную модель накладываются те же ограничения, что и для модели с одной независимой переменной, но с добавлением четвертого условия – ранг матрицы равен и < . Это условие означает линейную независимость векторов матрицы независимых переменных, и эквивалентно тому, что матрица (XTX)-1 должна иметь полный ранг. При нарушении этого условия, т.е., когда один из столбцов матрицы является линейной комбинацией остальных столбцов, такая матрица называется вырожденной и ее определитель равен нулю.
На практике чаще бывает такая ситуация, когда матрица независимых переменных имеет полный ранг, но между независимыми переменными существует высокая корреляция, то есть матрица XTX близка к вырожденной и ее определитель мал. Определенные по такой обратной матрице стандартные ошибки коэффициентов регрессии велики, и оценка их значимости по -критерию Стьюдента может привести к неверным выводам о незначимости включения той или иной независимой переменной в модель, что приводит к ошибке спецификации. Небольшие изменения в исходных данных приводят к существенному изменению оценок коэффициентов модели. Эти коэффициенты могут иметь другую направленность воздействия на зависимую переменную по сравнению с теоретической. Такую проблему называют мультиколлинеарностью.
Ферраром
и Глобером предложен критерий оценки
мультиколлинеарности, суть которого в
следующем. Если независимые переменные
,
,…,
попарно линейно независимы, то
корреляционная матрица является
единичной, следовательно, матрица,
обратная к корреляционной матрице,
также является единичной. Выборочная
корреляционная матрица и ее обратная
отличны от единичной. На этом свойстве
основан предложенный ими критерий,
который подчиняется распределению
Фишера с
;
степенями свободы
,
где
– диагональные элементы обратной
корреляционной матрицы независимых
переменных;
– количество независимых переменных;
–
количество наблюдений.
Если
;
;
;
то принимается гипотеза отсутствия
мультиколлинеарности
независимой переменной с остальными
независимыми переменными при уровне
значимости
.
Используется
также критерий обнаружения
мультиколлинеарности, основанный на
множественном коэффициенте детерминации
между
независимой переменной и остальными
независимыми переменными
и
,
,…,
,
определенный как
(Variance
Inflation Factor):
.
Если
,
то
и
не зависит
от остальных независимых переменных,
если
,
то
зависит от остальных независимых
переменных и
.
Определив
для каждой
независимой переменной, получим,
– это
свидетельствует о наличии мультиколлинеарности
между
и остальными
независимыми переменными для малых
выборок, а если
–
то для больших
выборок.
Наличие
мультиколлинеарности контролируется
также величиной обусловленности
(cond) матрицы парных
коэффициентов корреляции независимых
переменных, определяемой как отношение
максимального собственного значения
данной матрицы к минимальному собственному
значению. Если
,
то это свидетельствует об отсутствии
проблемы мультиколлинеарности.
При наличии мультиколлинеарности необходимо применять специальные методы оценки параметров модели, а не исключать их из модели, за исключением, конечно, случая приводимого в качестве примера наличия мультиколлинеарности между двумя независимыми переменными, измеряющими одну и ту же величину в разных единицах измерения. Эти методы во многих случаях дают положительный эффект и позволяют решить рассмотренную выше проблему.
Рассмотрим
построение многофакторной модели на
примере макроэкономических показателей.
Мы знаем, что основным источником
повышения жизненного уровня населения
является рост производительности труда
и уровень валового внутреннего продукта
.
Для построения модели используем такие
показатели (в постоянных ценах 1987 г.),
как реальный располагаемый доход на
душу населения
,
реальный валовый внутренний продукт
на душу населения
и производительность труда, определенная
как отношение
к численности
гражданской рабочей силы за минусом
количества безработных
.
Исходные
данные приведены в табл. 3.2.
Таблица 3.2
|
|
|
|
1 |
10,111 |
14,232 |
37,229 |
2 |
10,414 |
14,631 |
37,407 |
3 |
11,013 |
15,425 |
37,700 |
4 |
10,832 |
15,185 |
37,464 |
5 |
10,906 |
14,915 |
37,505 |
6 |
11,192 |
15,508 |
38,072 |
7 |
11,406 |
16,045 |
38,404 |
8 |
11,851 |
16,638 |
38,538 |
9 |
12,039 |
16,865 |
38,390 |
10 |
12,005 |
16,584 |
38,034 |
11 |
12,156 |
16,709 |
38,278 |
12 |
12,146 |
16,187 |
37,792 |
13 |
12,349 |
16,674 |
38,718 |
14 |
13,029 |
17,549 |
39,509 |
15 |
13,258 |
17,945 |
39,924 |
16 |
13,552 |
18,299 |
40,187 |
17 |
13,545 |
18,691 |
40,356 |
18 |
13,890 |
19,252 |
41,031 |
19 |
14,005 |
19,563 |
41,210 |
20 |
14,101 |
19,589 |
41,538 |
Оценка параметров модели по МНК такова:
(3.7223) (0.1236) (0.1470).
В скобках
под параметрами модели указаны их
стандартные ошибки:
;
;
.
Расчетные значения
-критерия
Стьюдента таковы:
;
;
.
С уровнем значимости
и степенью свободы
,
.
Следовательно, незначимы параметры
модели
и
.
Параметр модели
противоречит теоретическим
представлениям о влиянии
на
.
Возможно на ошибки и оценку параметров
модели оказывает влияние наличия
мультиколлинеарности. Кроме того,
критерий Дарбина-Уотсона указывает на
наличие автокорреляции.
Воспользуемся приведенными выше критериями обнаружения мультиколлинеарности. Для этого определим парные коэффициенты корреляции между независимыми переменными и зависимой и независимыми переменными.
Парный коэффициент корреляции,
характеризующий линейную взаимосвязь
между исследуемыми показателями,
например, между зависимой переменной
и независимой переменной
,
можно определить, используя следующие
формулы:
или
.
Достоверность значения парного
коэффициента корреляции проверяется
сравнением расчетного значения критерия
Стьюдента
с критическим
,
определяемым по таблице Стьюдента с
выбранным уровнем значимости
и степенью свободы
:
,
где
– ошибка коэффициента корреляции.
Если
,
то парный коэффициент корреляции значим.
Рассчитанные
парные коэффициенты корреляции
независимых переменных представлены
в виде матрицы
,
а парные коэффициенты корреляции
зависимой переменной и независимых
переменных в виде вектора
.
Определяем
обратную матрицу
,
критерий
и
:
;
.
С уровнем значимости принимается гипотеза мультиколлинеарности.
Рассчитанный коэффициент , равный 18,2, также свидетельствует о наличии мультиколлинеарности между и .
Регрессия на главных компонентах.
Мы
рассматриваем влияние двух независимых
переменных
,
на зависимую переменную
.
Используя метод главных компонент,
можно составить две линейные комбинации
этих независимых переменных через
главные компоненты
таким образом, что первая главная
компонента достигает максимума дисперсии
среди всех линейных комбинаций с
независимыми переменными, следующая –
максимум оставшейся дисперсии. Полученные
главные компоненты являются линейно
независимыми. Дисперсия каждой главной
компоненты равна соответствующему
собственному значению.
Если
рассмотреть матрицу независимых
переменных в виде матрицы парных
коэффициентов корреляции, то модель на
главных компонентах с получением
стандартизованных
коэффициентов можно представить
следующим образом:
1.
Находятся собственные значения
и
собственные вектора
матрицы
;
.
2. Определяется матрица A нагрузок на главные компоненты.
Запишем модель компонентного анализа
Z=AG, (3.1)
где
A
– матрица нагрузок для главных компонент
;
Z=
;
G=
;
;
;
где
– стандартизованные значения независимых
переменных.
Свойства
стандартизованной величины – среднее
значение равно нулю, а дисперсия равна
единице A=Vdiag
(
)
A=
.
Полученная
матрица нагрузок A
для главных компонент обладает следующими
свойствами. Сумма квадратов по строкам
этой матрицы для стандартизованных
величин
равна единице и
по столбцам равна собственным значениям
для главных компонент
,
определенных для матрицы R.
Выполняется также условие AAT=R.
Первые два свойства представлены в
табл. 3.3.
Таблица 3.3
Свойства матрицы нагрузок для главных компонент
|
|
|
Дисперсия |
|
0,992825 |
0,118304 |
1,0 |
|
0,992825 |
-0,118304 |
1,0 |
Дисперсия
|
1,972068 |
0,027932 |
2,0 |
Вклад в общею дисперсию, % |
98,6 |
1,4 |
100 |
3. Выражаем главные компоненты через стандартизованные независимые переменные . Решая (3.1) относительно G, получим
ATZ=ATAG
G=(ATA)-1ATZ=diag()-1ATZ,
где
– диагональная матрица собственных
значений.
Свойство полученной матрицы G:
GTG=R-1. (3.2)
4.
Определяем коэффициенты корреляции
между стандартизованной зависимой
переменной
и главными компонентами
,
где
– оценка стандартизованных величин
зависимой переменной.
,
где fj – стандартизованные величины зависимой переменной.
5. Определяем стандартизованные коэффициенты на главных компонентах
Коэффициенты детерминации по каждой главной компоненте определяются по формуле
.
Суммируя
матрицу
по
столбцам, получим стандартизованные
коэффициенты, которые совпадают с
оценкой
,
а сумма вектора
дает
общий коэффициент детерминации
.
Перепишем стандартизованные уравнения регрессии на главных компонентах в следующем виде
.
Значимость
стандартизованных
коэффициентов на главных компонентах
определим по
-критерию
Стьюдента, сравнивая их с критическим
для выбранного уровня значимости и
степени свободы
.
Для
коэффициентов, определяемых по МНК,
стандартные ошибки
определяются по формуле
;
(3.3)
где
– стандартная ошибка для стандартизованной
формы модели;
– диагональные элементы матрицы
.
(3.4)
Учитывая свойство (3.2) матрицы G и подставив в (3.3) можно записать так:
,
(3.5)
где
– квадрат значения элемента j
столбца
матрицы G;
.
Для нахождения стандартных ошибок в модели на главных компонентах, учитывая их независимость, формулы (3.5) и (3.4) примут следующий вид:
где
–
количество
главных компонент –
,
(
и
;
и
,…,
и
).
Все необходимые данные для определения значимости стандартных коэффициентов на главных компонентах, приведены в табл. 3.4.
Таблица 3.4
Значимость стандартизованных коэффициентов регрессии
Показатель |
|
|
||
|
11 |
12 |
21 |
22 |
|
0,027681 |
0,027681 |
1,012662 |
1,012662 |
tрас |
17,7 |
17,7 |
0,6388 |
-0,6388 |
tкр |
2,09 |
2,09 |
2,09 |
2,09 |
|
0,951442 |
0,023443 |
||
|
0,239661 |
1,044723 |
||
Стандартизованные коэффициенты значимы для первой главной компоненты. Модель на этой главной компоненте в стандартизованном виде такова:
а для натурального масштаба:
.
В полученной модели влияние независимых переменных на зависимую переменную не противоречит теоретическим предположениям. Однако в модели присутствует автокорреляция, о чем свидетельствует расчетное значение критерия Дарбина-Уотсона и поэтому она не пригодна для анализа и прогноза. Возможные решения проблемы автокорреляции были рассмотрены в предыдущем разделе. График остатков модели в натуральном масштабе представлен ниже (рис. 3.6).
Рис. 3.6
Коротко
рассмотрим еще один способ решения
проблемы мультиколлинеарности –
ридж-оценку параметров модели. Для
рассматриваемой стандартизованной
модели они рассчитываются следующим
образом:
,
где I – диагональная единичная
матрица;
– параметр, контролирующий степень
смещения оценок параметров модели.
Обычно
для стандартизованных
коэффициентов верхнее значение
.
При
,
коэффициенты равны оценкам, полученным
МНК. С ростом параметра
коэффициенты регрессии стабилизируются.
В интервале стабилизации лучшие оценки
можно выбрать по
.
На графике показана зависимость значений
коэффициентов от параметра
(рис. 3.7).
Рис. 3.7
Из
графика видно, что при
ридж-оценки параметров модели относительно
стабилизируются и для этого значения
они таковы:
;
;
;
;
=0.0297;
=0.0297;
=15.2;
=12.3;
tкр=2.09
Все j коэффициенты значимы. Модели ридж-регрессии в стандартизованном и натуральном масштабах таковы:
;
;
.
;
;
;
.
Рис. 3.8
На графике (3.8) явно прослеживается определенная тенденция в остатках модели, что подтверждается расчетным критерием Дарбина-Уотсона.