Множественный регрессионный анализ

Экономические явления определяются большим числом одновременно и совокупно влияющих факторов. Поэтому возникает задача исследования зависимости одной переменной у от нескольких объясняющих переменных х₁, х₂,…, х_n. Эта задача решается с помощью множественного регрессионного анализа. Модель множественной линейной регрессии можно представить в виде:

y_i= β₀+ β₁x_i1+ β₂x_i2+…+ β_px_ip+ε_i, (1)

где i=1,…, n;

ε_i – отражает возмущение и случайные ошибки.

Модель (1) называется классической нормальной моделью множественной регрессии. Множество объясняющих переменных, присутствующих в модели, значительно усложняет вычисления, поэтому прибегают к применению матричного описания регрессии, для чего вводят следующие обозначения: у представляется в виде матрицы-столбца или вектора:

А значения х тоже представляют в виде матрицы размера n, где n – количество переменных х:

В матрицу дополнительно введем столбец, все элементы которого равны 1. Это сделано для того, чтобы учесть влияние β_0­. Предполагается, что β₀ был умножен на фиктивную переменную х₀, принимающую значение 1 при любых условиях.

– матрица-столбец параметров уравнения.

– матрица-столбец случайных ошибок.

Тогда в матричной форме модель (1) примет вид: Y=XB+ε.

Оценкой этого уравнения является модель: Y=Xb+e,

где b=(b₀, b₁, …,b_p)', e=(e₁, e₂, …,e_p)'.

Для оценки вектора неизвестных параметров β применяется метод наименьших квадратов. Для этого определяют произведение транспонированной матрицы e' на саму матрицу e:

(e₁, e₂, …,e_p)* =e₁²+ e₂²+…+ e_p²=Σ e_i², i=1,…, p.

В методе наименьших квадратов (МНК) должно соблюдаться условие минимизации квадрата отклонения теоретических данных от фактических:

S= =e'e=(Y-Xb)'*(Y-Xb) →min. (2)

При транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. соблюдается правило:

(Xb)'=b'X'.

Т.о., после раскрытия скобок в формуле (2), получится следующее выражение:

S= (Y-Xb)'*(Y-Xb) = (Y'-b'X')'*(Y-Xb) →min,

S=Y'Y-Y'Xb-b'X'Y+b'X'Xb →min.

Y'Xb можно представить в виде b'X'Y. Тогда S примет вид:

S=Y'Y-2b'X'Y+ b'X'Xb →min.

Для нахождения минимума (экстремумов) функции необходимо первую производную этой функции приравнять к 0. Но т.к. у нас выражение представлено в матричной форме, то получится матрица-вектор частных производных:

Для вектора частных производных существуют следующие формулы:

где b, c – векторы-столбцы;

А – симметрическая матрица, т.е. элементы которой расположены симметрично от главной диагонали. Поэтому полагая, что c=X’Y, A=X’X примет вид:

= -2X’Y+2X’Xb=0,

X’Xb=X’Y. (3)

В матричной форме Х'X получается умножением матрицы Х на транспонированную матрицу X’:

X’X=

Определим произведение X’Y:

X’Y=

Тогда в матричной форме уравнение (3) примет вид:

. (4)

Решением уравнения будет являться выражение:

b= =X’Y (X’X)^-1.

Выражение (4) может быть решено через систему линейных уравнений:

(5)

Пример. Имеются следующие данные о производительности труда рабочего, мощности оборудования и уровне механизации работ. Информация дана по 10 предприятиям. Составить уравнение множественной регрессии на основе имеющихся данных.

Таблица 5

1 способ. Матрица Х'X в нашем примере примет вид:

Х'X=

Запишем матрицу Х’Y:

X’Y=

Определим параметры b, исходя из условия: b=(X’X)^-1X’Y, где (X’X)^-1= , где - определитель матрицы X’X,

– присоединенная матрица, все элементы которой являются алгебраическими дополнениями матрицы (X’X)’.

Найдем определитель матрицы X’X:

=10*908*417+94*63*603+94*63*603-63*908*63-603*603*10-94*94*417= =3738.

Алгебраические дополнения матрицы имеют вид: A_ij=(-1)^i+jM_ij, где M_ij – минор элемента, т.е. определитель матрицы n-1 порядка, получаемый из исходной матрицы путем вычеркивания i строки и j столбца.

A₁₁=908*417-603*603=15027,

A₂₁=-(94*417-63*603)=-1209,

A₃₁=94*603-63*908=-522,

A₁₂=-1209, A₂₂=201, A₃₂=-108, A₁₃=-522, A₂₃=-108, A₃₃=244.

Тогда

(X’X)^-1= .

b=

Т.о. b₀=-3,5393, b₁=0,8539, b₂=0,3670.

Теперь уравнение множественной регрессии примет вид:

=-3,5393+0,8539x₁+0,3670x₂.

Т.о. значения b₁ и b₂ показывают, что при увеличении мощности оборудования на единицу производительность труда увеличивается на 0,8539 единиц, а при увеличении уровня механизации на единицу производительность труда увеличивается на 0,3670 единиц.

2 способ. Данную задачу можно решить через систему линейных уравнений, общий вид которой представлен в виде модели (5).

Если в модели присутствуют у, х₁ и х₂ , то общий вид системы принимает следующую форму:

Решим матричным способом.

Δ=3738.

-13230,

3192,

1372.

После определения параметров b рассчитывают коэффициенты эластичности, показывающие уровень влияния b на изучаемое явление у. Коэффициент эластичности показывает, на сколько процентов (от средней) изменится у при увеличении х на один процент. Коэффициент эластичности рассчитывается по формуле:

E₁=0,854*9,4/6,8=1,18.

E₂=0,367*6,3/6,8=0,34.

Т.е. при изменении только х₁ на один процент у увеличится на 1,18% от среднего значения. При увеличении х₂ на один процент у увеличится на 0,34% от среднего значения. Т.о. фактор «мощность оборудования» оказывает большее влияние на у (производительность труда), чем фактор «уровень механизации работ».

После расчета коэффициента эластичности определяют линейные коэффициенты частной корреляции между у и х₁, затем между у и х₂. Также определяется коэффициент корреляции между самими переменными х₁ и х₂.

1. Определим .

2. Рассчитаем .

.

3. Рассчитаем .

Мы определили линейные коэффициенты корреляции (парные). На их основе определим частные коэффициенты корреляции:

Полученные значения необходимо сравнить с парными коэффициентами. Существуют отличия между коэффициентами, особенно оно значимо по переменной х₂. Парный коэффициент показывает наличие слабой связи, а частный коэффициент её отсутствие.

Далее рассчитывается линейный коэффициент множественной корреляции:

, где

Т.о. наблюдается наличие слабой связи между у,х₁,х₂.

– коэффициент детерминации – показывает, что изменение у только на 24% обусловлено влиянием х₁ и х₂, а на 76% влиянием прочих факторов.

Оценим статистическую значимость уравнения множественной регрессии, рассчитав F – критерий Фишера. Для множественной регрессии он определяется по формуле:

Сравним полученное F с табличным при уровне значимости α=0,05 и числе степеней свободы k₁=m-1, k₂=n-m.

k₁=2, k₂=7, F_табл=4,74.

Т.к. F_расч<F_табл, то уравнение считается не значимым.

Помимо этого рассчитываются частные F – критерии – Fx₁ и Fx₂ , которые оценивают значимость присутствия факторов х₁ и х₂ в уравнении множественной регрессии, а также целесообразность включения в модель одного фактора после другого, т.е. Fx₁ оценивает целесообразность включения в уравнение фактора x₁ после того, как в модель был включен х₂, а Fx₂ показывает, нужно ли было включать в модель фактор х₂. Эти критерии рассчитываются по следующим формулам:

F_табл=5,32.

Низкое значение Fx₁ и Fx₂ свидетельствует о статистической не значимости и не целесообразности включения их в модели, но Fx₁ > Fx₂, т.е. фактор х₁ более целесообразно включить в модель, чем х₂.

Для коэффициентов и функций регрессии определяются доверительные интервалы, т.к. в расчетах всегда присутствует ошибка. Кроме того, регрессионные модели часто используются для прогнозирования, где также необходимо представление прогнозных оценок в виде интервалов. Доверительными эти интервалы называются потому, что при их определении используется t – критерий Стьюдента, который называется критерием доверия. Доверительные интервалы определяются для коэффициентов регрессии зависимой переменной у.

Интервальные значения для коэффициентов регрессии имеют вид:

t_табл=2,36.

0,8539-2,36*0,82 ≤ β₁ ≤ 0,8539+2,36*0,82,

-1,08≤ β₁ ≤ 2,79,

0,3670-2,36*0,87 ≤ β₂ ≤ 0,3670+2,36*0,87,

-1,69 ≤ β₂ ≤ 2,42.

t_табл, что еще раз подтверждает гипотезу о не значимости коэффициентов регрессии.

Полученные интервалы показывают, что: сила влияния переменной х₁ на у будет не меньше, чем -1,08 и не больше, чем 2,79, а сила влияния переменной х₂ на у будет не меньше, чем -1,69 и не больше, чем 2,42.

Интервал для индивидуальных значений зависимой переменной у имеет вид:

S_e= 0,951.

6,8-2,36*0,951 6,8+2,36*0,951,

4,56 9,04.

Т.е. при уровне значимости α=0,05 значение будет находиться в пределах от 4,56 до 9,04.