4.4. Метод наименьших квадратов

Пусть по выборке , требуется опреде­лить оценки bo и эмпирического уравнения регрессии (4.8).

В этом случае при использовании МНК минимизируется следующая функция (рис. 4.4):

Рис. 4.4

(4.10)

Нетрудно заметить, что функция Q является квадратичной функцией двух параметров и ( поскольку - известные данные наблюдений. Так как

функция Q непрерывна, выпукла и ограничена снизу (Q > 0), то она имеет минимум.

Необходимым условием существования минимума функции двух переменных является равенство нулю ее частных производных по неизвестным параметрам и

(4.11)

(4.12)

Р азделив оба уравнения системы (4.12) на n, получим:

(4.13)

Здесь

Таким образом, по МНК оценки параметров и определяются по формулам (4.13).

Нетрудно заметить, что можно вычислить по формуле:

(4.14)

Тогда

(4.15)

где -выборочный коэффициент корреляции; - стандартные отклонения. Таким образом, коэффициент регрес-

сии пропорционален ковариации и коэффициенту корреляции, а коэффициенты пропорциональности служат для соизмерения перечисленных разномерных величин.

Итак, если коэффициент корреляции уже рассчитан, то легко может быть найден коэффициент для парной регрессии по формуле (4.15).

Если, кроме уравнения регрессии Y на для тех же эмпирических данных найдено уравнение регрессии X на то произведение коэффициентов и равно :

(4.16)

О тметим, что коэффициенты и находятся по формулам, аналогичным формулам (4.13):

(4.17)

Проведенные рассуждения и формулы 4.10 — 4.17 позво­ляют сделать ряд выводов:

1. Оценки МНК являются функциями от выборки, что по­зволяет их легко рассчитывать.

2. Оценки МНК являются точечными оценками теоретиче­ских коэффициентов регрессии.

3. Согласно второй формуле соотношения (4.12), эмпириче­ская прямая регрессии обязательно проходит через точку .

4. Эмпирическое уравнение регрессии построено таким об­разом, что сумма отклонений , а также среднее значение от­клонения равны нулю.

Действительно, из формулы в соотношении (4.11) следует, что

5.Случайные отклонения не коррелированы с наблю- даемыми значениями зависимой переменной Y.

Для обоснования данного утверждения покажем, что ковариация между Y и е равна нулю. Действительно,

Покажем, что Просуммировав по i все соотношения (4.9), получим :

( так как

Разделив последнее соотношение на n, имеем:

Вычитая из (4.9) полученное соотношение, приходим к следующей формуле:

(4.18)

Тогда

Следовательно,

6.Случайные отклонения не коррелированы с наблюдае­мыми значениями независимой переменной X.

Действительно, S_xe = 0 в силу второй формулы системы (4.11) (доказательство выносится для самостоятельной работы). Случайные отклонения d не коррелированы с наблюдаемыми значениями зависимой переменной Y.

Для иллюстрации МНК рассмотрим следующий пример.

Пример 4.1. Для анализа зависимости объема потребления Y (у.е.) домохозяйства от располагаемого дохода X (у.е.) отобрана вы­борка объема п = 12 (помесячно в течение года), результаты которой приведены в табл. 4.1. Необходимо определить вид зависимости; по МНК оценить параметры уравнения регрессии Y на X; оценить силу линейной зависимости между X и Y; спрогнозировать потребление при доходе X — 160.

Таблица 4.1

i	1	2	3	4	5	6	7	8	9	10	11	12
	107	109	110	113	120	122	123	128	136	140	145	150
	102	105	108	110	115	117	119	125	132	130	141	144

Для определения вида зависимости построим корреляционное поле (рис. 4.5).

По расположению точек на корреляционном поле полагаем, что зависимость между X и Y линейная:

Для наглядности вычислений по МНК построим табл.4.2.

Согласно МНК, имеем

Таким образом, уравнение парной линейной регрессии имеет вид: Изобразим данную прямую регрессии на корреляционном поле. По этому уравнению рассчитаем , а также

Для анализа силы линейной зависимости вычислим коэффициент корреляции:

Данное значение коэффициента корреляции позволяет сделать вывод о сильной(прямой) линейной зависимости между рассматривае-

мыми переменными X и Y . Это также подтверждается расположением точек на корреляционном поле.

i
1	107	102	11449	10914	10404	103,63	-1,63	2,66
2	109	105	11881	11445	11025	105,49	-0,49	0,24
3	110	108	12100	11880	11664	106,43	1,57	2,46
4	113	110	12769	12430	12100	109,23	0,77	0,59
5	120	115	14400	13800	13225	115,77	-0,77	0,59
6	122	117	14884	14274	13689	117,63	-0,63	0,40
7	123	119	15129	14637	14161	118,57	0,43	0,18
8	128	125	16384	16000	15625	123,24	1,76	3,10
9	136	132	18496	17952	17424	130,71	1,29	1,66
10	140	130	19600	18200	16900	134,45	-4,45	19,8
11	145	141	21025	20445	19881	139,11	1,89	3,57
12	150	144	22500	21600	20736	143,78	0,22	0,05
Сумма	1503	1448	190617	183577	176834	-	≈	35,3
Среднее*	125,25	120,67	15884,75	15298,08	14736,17	-	-	-

*)Значения округляются до сотых.

**)Учитываются погрешности округлений.

Прогнозируемое потребление при располагаемом доходе х = 160 по данной модели составит (160) ≈153,12.

Построенное уравнение регрессии в любом случае требует опре­деленной интерпретации и анализа. Интерпретация требует словесного описания полученных результатов с трактовкой найденных коэффи­циентов, с тем чтобы построенная зависимость стала понятной человеку, не являющемуся специалистом в эконометрическом ана­лизе. В нашем примере коэффициент может трактоваться как предельная склонность к потреблению (МРС ≈ ≈0,9339). Фактически он показывает, на какую величину изменится объем потребления, если располагаемый доход возрастает на одну единицу. На графике (рис. 4.5) коэффициент определяет тангенс угла наклона прямой регрессии относительно положительного направления оси абсцисс (объясняющей переменной). Поэтому часто он называется угловым коэффициентом.

Свободный член bo уравнения регрессии определяет прогно­зируемое значение Y при величине располагаемого дохода X, равной нулю (т.е. автономное потребление). Однако здесь необходима опре­деленная осторожность. Очень важно, насколько далеко данные наблю­дений за объясняющей переменной отстоят от оси ординат (зависимой переменной), так как даже при удачном подборе уравнения регрессии для интервала наблюдений нет гарантии, что оно останется таковым и вдали от выборки. В нашем случае значение bo = 3,699 говорит о том, что при нулевом располагаемом доходе расходы на потребление соста­вят в среднем 3,699 у.е. Этот факт можно объяснить для отдельного домохозяйства (оно может тратить накопленные или одолженные средства), но для совокупности домохозяйств он теряет смысл. В любом случае значение коэффициента bo определяет точку пересечения прямой регрессии с осью ординат и характеризует сдвиг линии регрессии вдоль оси Y.

Следует помнить, что эмпирические коэффициенты регрес­сии bo и являются лишь оценками теоретических коэффи­циентов и , а само уравнение отражает лишь общую тен­денцию в поведении рассматриваемых переменных. Индивидуаль­ные значения переменных в силу различных причин (см. па­раграф 4.2) могут отклоняться от модельных значений. В нашем примере эти отклонения выражены через значения которые являются оценками отклонений для генеральной совокупности.

Однако при определенных условиях уравнение регрессии служит незаменимым и очень качественным инструментом ана­лиза и прогнозирования. Обсуждение этих условий будет прове­дено в последующих главах.

После интерпретации результатов закономерен вопрос о ка­честве оценок и самого уравнения в целом. Это составит пред­мет обсуждения следующей главы.