Занятие 4 и 5. Множественная регрессия и корреляция

Множественная регрессия - уравнение связи с несколькими независимыми переменными:

, где у- зависимая переменная (результативный признак);

х_1,х_2,...,х_р - независимые переменные (факторы).

Для построения уравнения множественной регрессии чаще используются следующие функции: • линейная – ;

• степенная – ;

• экспонента –

• гипербола – у = .

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Для ее решения может быть применён метод определителей:

…,

где Δ = - определитель системы;

Δа, Δb₁,…, Δb₂ - частные определители, которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Другой вид уравнения множественной регрессии - уравнение регрессии в стандартизованном масштабе:

где , - стандартизованные переменные;

β_i - стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:

Связь коэффициентов множественной регрессии b_i- со стандартизованными коэффициентами β_i описывается соотношением:

.

Параметр а определяется как а = .

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле:

.

Для расчета частных коэффициентов эластичности применяется следующая формула:

.

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

.

Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или равно максимальному парному индексу корреляции:

(i= ).

Индекс множественной корреляции для уравнения в стандартизованном масштабе можно записать в виде:

.

При линейной зависимости коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:

, где

- определитель матрицы парных коэффициентов корреляции;

- определитель матрицы межфакторной корреляции.

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора х_i при неизменном уровне других факторов, можно определить по формуле:

.

или по рекуррентной формуле:

.

Частные коэффициенты корреляции изменяются в пределах от -1 до 1.

Качество построенной модели в целом оценивает коэффициент (индекс) детерминации. Коэффициент множественной детерминации рассчитывается как квадрат индекса множественной корреляции:

.

Скорректированный индекс множественной детерминации содержит поправку на число степеней свободы и рассчитывается по формуле:

,

где n - число наблюдений;

т- число факторов.

Значимость уравнения множественной регрессии в целом оценивается с помощью F-критерия Фишера:

.

Частный F-критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. В общем виде для фактора x_i частный F-критерий определится как:

.

Оценка значимости коэффициентов чистой регрессии с помощью t-критерия Стьюдента сводится к вычислению значения:

.

где - стандартная коэффициента регрессии b_i она может быть определена по следующей формуле:

.

При построении уравнения множественной регрессии может возникнуть проблема мулътиколлинеарности факторов, их тесной линейной связанности.

Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если .

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мулътиколлинеарности факторов. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

матрица коэффициентов корреляции между факторами имела бы определитель, равный 1:

так как и .

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0:

Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Проверка мультиколлинеарности факторов может быть проведена методом испытания гипотезы о независимости переменных . Доказано, что величина имеет приближенное распределение с (0,5n*(n-1)) степенями свободы. Если фактическое значение превосходит распределение табличное (критическое) гипотеза отклоняется. Это означает, что Det |R| 1, недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х_j остатки имеют одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичностъ.

При нарушении гомоскедастичности мы имеем неравенства

, j i.

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда - Квандта. Основная идея теста Гольдфельда - Квандта состоит в следующем:

1. упорядочение п наблюдений по мере возрастания переменной х;

2. исключение из рассмотрения С центральных наблюдений; при этом (п-С):2>р, где p - число оцениваемых параметров;

3. разделение совокупности из (п - С) наблюдений на две группы (соответственно с малыми и с большими значениями фактора x) и определение по каждой из групп уравнений регрессии;

4. определение остаточной суммы квадратов для первой (S₁) и второй (S₂) групп и нахождение их отношения: R = S₁: S₂.

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию со степенями свободы ((п - С - 2р) : 2) для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т.д.). Чтобы ввести такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т.е. качественные переменные преобразовать в количественные.

Такого вида сконструированные переменные принято в эконометрике называть фиктивными переменными. Например, включать в модель фактор «пол» в виде фиктивной переменной можно в следующем виде:

пол.

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории (женский пол) к другой (мужской пол) при неизменных значениях остальных параметров. На основе t-критерия Стьюдента делается вывод о значимости влияния фиктивной переменной, существенности расхождения между категориями.

Задача 1

По 30 территориям России имеются данные, представленные в табл. 2.1.

Признак	Среднее значение	Среднее квадратическое отклонение	Линейный коэффициент парной корреляции
Среднедневной душевой доход, руб., у	86,8	11,44	-
Среднедневная заработная плата одного работающего, руб., х1	54,9	5,86
Средний возраст безработного, лет, х2	33,5	0,58

Требуется:

1. Построить уравнение множественной регрессии в стандартизованной и естественной форме; рассчитать частные коэффициенты эластичности, сравнить их с β₁ и β₂, пояснить различия между ними.

2. Рассчитать линейные коэффициенты частной корреляции и коэффициент множественной корреляции, сравнить их с линейными коэффициентами парной корреляции, пояснить различия между ними.

3. Рассчитать общий и частные F-критерии Фишера.

Решение:

1. Линейное уравнение множественной регрессии у от х₁ и х₂ имеет вид: у = а+b₁∙х₁+b_2∙x₂. Для расчета его параметров применим метод стандартизации переменных и построим искомое уравнение в стандартизованном масштабе: . Расчет β-коэффициентов выполним по формулам:

Получим уравнение: t_y=0,8273t_x1-0,1141t_x2.

Для построения уравнения в естественной форме рассчитаем b₁ и b_2, используя формулы для перехода от β_i к b_i:

Значение а определим из соотношения:

Для характеристики относительной силы влияния х₁ и х₂ на у рассчитаем средние коэффициенты эластичности:

;

С увеличением средней заработной платы на 1 % от ее среднего уровня средний душевой доход у возрастает на 1,02 % от своего среднего уровня; при повышении среднего возраста безработного х₂ на 1 % среднедушевой доходу снижается на 0,87 % от своего среднего уровня. Очевидно, что сила влияния средней заработной платы х₁ на средний душевой доход у оказалась большей, чем сила влияния среднего возраста безработного х₂ К аналогичным выводам о силе связи приходим при сравнении модулей значений β₁и β₂:

.

Различия в силе влияния фактора на результат, полученные при сравнении . и , объясняются тем, что коэффициент эластичности исходит из соотношения средних: , а β-коэффициент - из соотношения средне- квадратических отклонений .

2. Линейные коэффициенты частной корреляции здесь рассчитываются по рекуррентной формуле:

;

;

.

Если сравнить значения коэффициентов парной и частной корреляции, то приходим к выводу, что из-за слабой межфакторной связи ( = -0,116) коэффициенты парной и частной корреляции отличаются незначительно: выводы о тесноте и направлении связи на основе коэффициентов парной и частной корреляции совпадают:

.

Расчет линейного коэффициента множественной корреляции выполним с использованием коэффициентов и β_j:

Зависимость у от x₁ и x₂ характеризуется как тесная, в которой 72 % вариации среднего душевого дохода определяются вариацией учтенных в модели факторов: средней заработной платы и среднего возраста безработного. Прочие факторы, не включенные в модель, составляют соответственно 28 % от общей вариации у.

3. Общий F-критерий проверяет гипотезу H₀ о статистической значимости уравнения регрессии и показателя тесноты связи (R² = 0):

F_табл=3,4; α=0,05.

Сравнивая F_табл и F_факт приходим к выводу о необходимости отклонить гипотезу H₀, так как F_табл=3,4<F_факт⁼34,6. С вероятностью 1 - α = 0,95 делаем заключение о статистической значимости уравнения в целом и показателя тесноты связи , которые сформировались под неслучайным воздействием факторов х₁ и Fх₂. Частные F-критерии - и оценивают статистическую значимость присутствия факторов х₁ и х₂ в уравнении множественной регрессии, оценивают целесообразность включения в уравнение одного фактора после другого фактора, т.е. оценивает целесообразность включения в уравнение фактора х₁ после того, как в него был включен фактор х₂. Соответственно указывает на целесообразность включения в модель фактора x₂ после фактора х₁:

Сравнивая F_табл и F_факт, приходим к выводу о целесообразности включения в модель фактора х₁ после фактора х₂, так как . Гипотезу о несущественности прироста за счет включения дополнительного фактора х₁ отклоняем и приходим к выводу о статистически подтвержденной целесообразности включения фактора х₁ после фактора х₂.

Целесообразность включения в модель фактора х₂ после фактора х₁ проверяет :

Низкое значение (немногим больше 1) свидетельствует о статистической незначимости прироста за счет включения в модель фактора х₂ после фактора х₁. Следовательно, подтверждается нулевая гипотеза о нецелесообразности включения в модель фактора х₂ (средний возраст безработного). Это означает, что парная регрессионная модель зависимости среднего дохода от средней заработной платы является достаточно статистически значимой, надежной и что нет необходимости улучшать ее, включая дополнительный фактор х₂ (средний возраст безработного).

Задача 2

По 20 территориям России изучаются следующие данные (табл. 2.2): зависимость среднегодового душевого дохода у (тыс. руб.) от доли занятых тяжелым физическим трудом в общей численности занятых х₁ (%) и от доли экономически активного населения в численности всего населения х₂ (%).

Таблица 2.2

Признак	Среднее значение	Средне- квадратическое отклонение	Характеристика тесноты связи	Уравнение связи
у	112,76	31,58
х1	5,40	3,34
х2	50,88	1,74

Требуется:

1. Составить таблицу дисперсионного анализа для проверки при уровне значимости α= 0,05 статистической значимости уравнения множественной регрессии и его показателя тесноты связи.

2. С помощью частных F-критериев Фишера оценить, насколько целесообразно включение в уравнение множественной регрессии фактора х₁ после фактора х₂ и насколько целесообразно включение х₂ после x₁.

3. Оценить с помощью t-критерия Стьюдента статистическую значимость коэффициентов при переменных х₁ и х₂ множественного уравнения регрессии.

Решение:1. Задача дисперсионного анализа состоит в проверке нулевой гипотезы h₀ о статистической незначимости уравнения регрессии в целом и показателя тесноты связи.

Анализ выполняется при сравнении фактического и табличного (критического) значений F-критерия Фишера F_табл и F_факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:

где п - число единиц совокупности,

т - число факторов в уравнении линейной регрессии;

ŷ - фактическое значение результативного признака;

- расчетное значение результативного признака.

Результаты дисперсионного анализа представлены в табл. 2.3.

Таблица 2.3

Вариация результата, у	Число степеней свободы	Сумма квадратов отклонений, S	Дисперсия на одну степень свободы, s2	Fфакт	Fтабл α = 0,05, k1=2. k2=17
Общая	df=n-1=19	19945,9	-	-	-
Факторная	k1 = т = 2	11918,3	5959,15	12,62	3,59
Остаточная	k2 =n-m- 1 = 17	8027,6	472,21	-	-

;

;

;

.

Сравнивая F_табл и F_фaкт, приходим к выводу о необходимости отклонить гипотезу Н₀ и сделать вывод о статистической значимости уравнения регрессии в целом и значения , так как они статистически надежны и сформировались под систематическим действием неслучайных причин. Вероятность того, что допускаются ошибки при отклонении нулевой гипотезы, не превышает 5 %, и это является достаточно малой величиной.

2. Частный F-критерий Фишера оценивает статистическую целесообразность включения фактора х₁ в модель после того, как в нее включен фактор х₂. Частный F-критерий Фишера строится как отношение прироста факторной дисперсии за счет дополнительно включенного фактора (на одну степень свободы) к остаточной дисперсии (на одну степень свободы), подсчитанной по модели с включенными факторами х₁ и х₂.:

.

Результаты дисперсионного анализа представлены в табл. 2.4.

;

;

;

;

.

Таблица 2.4

Вариация результата, у	Число степеней свободы	Сумма квадратов отклонений, S	Дисперсия на одну степень свободы, s2	Fфакт	Fтабл α=0,05, k1=2, k2=17
Общая	df=n-1=19	19945,9	-	-	-
Факторная В том числе: •за счет х2 • за счет дополнительно включенного x1	k1=m = 2 1 1	11918,3 5127,1 6791,2	5959,15 5127,1 6791,2	12,62 10,86 14,38	3,59 4,45 4,45
Остаточная	k2=n-m-1=17	8027,6	472,21	-	-

Включение фактора х₁ после фактора х₂ оказалось статистически значимым и оправданным: прирост факторной дисперсии (в расчете на одну степень свободы) оказался существенным, т.е. следствием дополнительного включения в модель систематически действующего фактора x₁, так как .

Аналогично проверим целесообразность включения в модель дополнительного фактора х₂ после включенного ранее фактора х₁. Расчет выполним с использованием показателей тесноты связи и :

.

Приходим к выводу, что включение фактора х₂ после х₁ оказалось бесполезным: прирост факторной дисперсии в расчете на одну степень свободы был несущественен, статистически незначим, т.е. влияние х₂ не является устойчивым, систематическим. Вполне возможно ограничиться построением линейного уравнения парной регрессии от х₁.

3. Оценка с помощью t-критерия Стьюдента значимости коэффициентов b₁ и b₂ связано с сопоставлением их значений с величиной их случайных ошибок: и , расчет которых сложен и трудоемок. Поэтому рассмотрим более простой способ: расчет значений t-критерий Стьюдента через частный F-критерий Фишера:

По таблице приложения II из [11] для ; . Сравним , коэффициент регрессии b₁ является статистически значимым, надежным, на него можно опираться в анализе и в прогнозе. Т.к. , т.е. величина b₂ является статистически незначимой, ненадежной в силу того, что она формируется преимущественно под воздействием случайных факторов.

Задача 3

По 20 предприятиям региона (табл. 2,5) изучается зависимость выработки продукции на одного работника у (тыс. руб.) от ввода в действие новых основных фондов х₁ (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих х₂ (%).

Таблица 2.5

Номер предприятия	у	х1	х2	Номер предприятия	у	х1	х2
1	7,0	3,9	10,0	11	9,0	6,0	21,0
2	7,0	3,9	14,0	12	11,0	6,4	22,0
3	7,0	3,7	15,0	13	9,0	6,8	22,0
4	7,0	4,0	16,0	14	11,0	7,2	25,0
5	7,0	3,8	17,0	15	12,0	8,0	28,0
6	7,0	4,8	19,0	16	12,0	8,2	29,0
7	8,0	5,4	19,0	17	12,0	8,1	30,0
8	8,0	4,4	20,0	18	12,0	8,5	31,0
9	8,0	5,3	20,0	19	14,0	9,6	32,0
10	10,0	6,8	20,0	20	14,0	9,0	36,0

Требуется:

1. Оценить показатели вариации каждого признака и сделать выводы о возможностях применения МНК для их изучения.

2. Проанализировать линейные коэффициенты парной и частной корреляции.

3. Написать уравнение множественной регрессии, оценить значимость его параметров, пояснить их экономический смысл.

4. С помощью F-критерия Фишера оценить статистическую надежность уравнения регрессии и . Сравнить значения скорректированного и нескорректированного линейных коэффициентов множественной детерминации.

5. С помощью частных F-критериев Фишера оценить целесообразность включения уравнение множественной регрессии фактора х₁ после х₂ и фактора х₂ после х₁.

6. Рассчитать средние частные коэффициенты эластичности и дать на их основе сравнительную оценку силы влияния факторов на результат.

Для решения заполним расчетную таблицу (2.6).

Таблица 2.6

№ п/п	у	х1	х2			х1х2	у2	ух1	ух2
1	7	3,9	10	15,21	100	39	49	27,3	70
2	7	3,9	14	15,21	196	54,6	49	27,3	98
3	7	3,7	15	13,69	225	55,5	49	25,9	105
4	7	4	16	16	256	64	49	28	112
5	7	3,8	17	14,44	289	64,6	49	26,6	119
6	7	4,8	19	23,04	361	91,2	49	33,6	133
7	8	5,4	19	29,16	361	102,6	64	43,2	152
8	8	4,4	20	19,36	400	88	64	35,2	160
9	8	5,3	20	28,09	400	106	64	42,4	160
10	10	6,8	20	46,24	400	136	100	68	200
11	9	6	21	36	441	126	81	54	189
12	11	6,4	22	40,96	484	140,8	121	70,4	242
13	9	6,8	22	46,24	484	149,6	81	61,2	198
14	11	7,2	25	51,84	625	180	121	79,2	275
15	12	8,0	28	64	784	224	144	96	336
16	12	8,2	29	67,24	841	237,8	144	98,4	348
17	12	8,1	30	65,61	900	243	144	97,2	360
18	12	8,5	31	75,25	961	263,5	144	102	372
19	14	9,6	32	92,16	1024	307,2	196	134,4	448
20	14	9,0	36	81	1296	324	196	126	504
	192	123,8	446	837,74	10828	2997,4	1958	1276,3	4581
Ср. знач	9,6	6,19	22,3	41,887	541,4	149,87	97,9	63,815	229,05

1)

Наблюдается повышенный уровень варьирования признаков, но в допустимых пределах . Значит совокупность предприятий однородна, и для ее изучения может использоваться МНК и вероятностные методы.

2. Матрица коэффициентов парной регрессии

_;

_;

_.

Матрица коэффициентов парной корреляции

	y	x1	x2
y	1
x1	0,9699	1
x2	0,9408	0,9428	1

Коэффициенты частной корреляции

;

; ;

Значения коэффициентов парной корреляции указывают на весьма тесную связь у и х₁ и у и х₂. Но в то же время межфакторная связь превышает тесноту связи х₂ с у. Для улучшения модели можно исключить из нее фактор х₂ как малоинформативный, недостаточно статистически надежный.

Коэффициенты частной корреляции дают более точную характеристику тесноты связи двух признаков, чем коэффициенты парной корреляции, так как очищают парную зависимость от воздействия данной пары признаков с другими признаками, представленными в модели. Наиболее тесно связаны у и , связь у и . Это приводит к выводу о необходимости исключить фактор х₂ - доля высококвалифицированных рабочих - из правой части уравнения множественной регрессии.

Если сравнить коэффициенты парной и частной корреляции, то можно увидеть, что из-за высокой межфакторной зависимости коэффициенты парной корреляции дают завышенные оценки тесноты связи

; ;

; .

Поэтому, по причине сильной коллинеарности (взаимосвязи) факторов рекомендуется исключить из исследования тот фактор, у которого теснота парной зависимости меньше, чем теснота межфакторной связи, т.е. х₂.

3. Вычисление параметров линейного уравнения множественной регрессии

Х - матрица значений объясняющих переменных или матрица плана, обратите внимание на то, что в матрицу х дополнительно введен столбец все элементы которого равны 1.

Найдем обратную матрицу

Найдем присоединенную матрицу

.

Значения случайных ошибок параметров а, b₁ и b₂

; ;

Критерий Стьюдента:

t_a>t_табл; ; .

То есть параметры а и b₁ статистически значимы, а b₂ - статистически не значим, не надежен, т.е. его можно рассматривать как неинформативный фактор, лучше его удалить из данного уравнения.

Величины b₁ и b₂ указывают, что с увеличением х₁ и х₂ на единицу результат увеличивается соответственно на 0,9459 и 0,0856 млн. руб.

4. Оценку надежности уравнения регрессии в целом и показателя тесноты связи R_yx, x₂ дает F-критерий Фишера.

Найдем стандартизованные коэффициенты регрессии

(по таблице приложения I для ).

F_ф>F_табл.