Дополнение 1. Метод наименьших квадратов для обобщенных линейных моделей

1. Обобщённые линейные регрессионные модели. Матричная запись мнк

Общей линейной регрессионной моделью называется модель, которую можно представить в виде

. (6.25)

Эмпирическая регрессионная модель тогда будет иметь вид

, (6.26)

или в матричном виде

, (6.27)

где – вектор неизвестных параметров,

– матрица размерности (nm),

– вектор случайных отклонений,

– вектор измерений.

В соответствии с МНК, нужно выбрать вектор  таким образом, чтобы минимизировать сумму:

. (6.28)

Раскрывая скобки, получим

(6.29)

Здесь использованы известные соотношения линейной алгебры

, , .

На основании необходимого условия экстремума функции нескольких переменных Q(₁,…,_m), необходимо приравнять нулю частные производные по этим переменным или в матричной форме – вектор частных производных

.

Для вектора частных производных справедливы следующие равенства:

, ,

где  и b – вектор-столбцы, A – симметрическая матрица. Полагая, и , находим

.

Откуда получаем систему нормальных уравнений в матричной форме для определения вектора :

. (6.30)

В явном виде эту систему нормальных уравнений можно записать в виде

(6.34)

где

, .

Решение системы нормальных уравнений (6.27) можно записать в виде

, (6.32)

если при этом матрица является невырожденной. Это означает, что функции f_i(x) должны быть линейно независимыми.

Проанализируем полученные результаты для случая m=2:

, (6.33)

или в матричном виде

, (6.34)

где – вектор неизвестных параметров, – матрица размерности (n2), – вектор случайных отклонений, – вектор измерений. Тогда система нормальных уравнений (6.28) примет вид:

(6.35)

Из этой системы находим оценки параметров ₁ и ₂:

,

, (6.36)

.

2. Статистические свойства мнк-оценок

Для того чтобы регрессионный анализ, основанный на обычном МНК, давал наилучшие из всех возможных результаты, случайное отклонение  должно удовлетворять условиям Гаусса-Маркова:

1⁰. , 2⁰. , 3⁰. , (ij), (6.37)

для всех возможных наблюдений.

Введём ковариационную матрицу:

. (6.38)

Тогда условия 1⁰-3⁰ можно записать в следующем, матричном, виде

1⁰. , 2⁰-3⁰. , (6.39)

где E – единичная матрицы nxn.

Наряду с выполнимостью указанных условий при построении регрессионных моделей делаются еще некоторые предположения.

4⁰. Матрица F должна быть детерминированной (т.е. ее элементы не должны быть случайными) и иметь максимальный ранг, равный m (т.е. матрица F^TF должна быть невырожденной).

5⁰. Случайные отклонения _i имеют нормальное распределение: _I~N(0,).

При выполнении условий 1⁰-5⁰ модель (6.29) называется обобщённой нормальной классической линейной регрессионной моделью.

Теорема Гаусса-Маркова. Если в регрессионной модели (6.25) выполняются условия 1⁰-4⁰, то оценки (6.32), полученные по МНК, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок (т.е. BLUE-оценками).

Более подробно статистические свойства МНК-оценок линейных моделей будут обсуждаться в главе 7.