23. Теорема Гаусса-Маркова – Эйткена. Вывод свойства обобщенного метода наименьших квадратов (омнк),

Теорема (Гаусс, Марков, Эйткен).  Пусть матрица X уравнений наблюдений размера n (k+1), где n>(k+1), обладает линейно-независимыми столбцами, а случайные возмущения удовлетворяют 4-м условиям:

E(u₁) = E(u₂) = ... = E(u_n) = 0,  (1) Var(u1)=..=Var(un)=σ2 (2)

Cov(ui,uj)=0, i≠j (3) Cov(x_mi,u_j) = 0 при всех значениях m=1,…k; i и j. (4)

Тогда: a) наилучшая линейная процедура (9.12) имеет вид

(5)

б) линейная несмещённая эффективная оценка (9.21) обладает свойством наименьших квадратов

(6)

в) ковариационная матрица оценки (9.21) вычисляется по правилу

; (7)

г) несмещённая оценка параметра ² модели находится по формуле:

(8) где (k+1) – количество неизвестных коэффициентов функции регрессии.

Доказательство.

Если вектор случайных возмущений в уравнениях наблюдений имеет произвольную ковариационную матрицу (остатки гетероскедастичны и коррелированны) , то оптимальная линейная процедура оценивания параметров линейной модели множественной регрессии именуется обобщённым методом наименьших квадратов (или процедурой Эйткена) и определяется формулами:

. (1) (2)

M = , (3) . (4)

Обратимся к схеме Гаусса-Маркова и перепишем её по-другому:

На время будем здесь рассматривать вектор как переменный, тогда вектор оказывается функцией (аффинным преобразованием) вектора . Далее, по правилу

(5)

образуем квадратичную (сложную) функцию вектора .

Нас интересует ответ на вопрос: при каком же значении переменного вектора функция (5) достигает своего безусловного минимума? Ответ находится, очевидно, в итоге решения следующей задачи на безусловный экстремум

.

Можно проверить, что единственным решением служит именно вектор . Это обстоятельство и проясняет причину упомянутого выше названия данной процедуры – обобщённый метод наименьших квадратов.

Подставим значение = вектора в ,

результат подстановки обозначим

, где (9.37)

В частном случае, когда , величина имеет особенно простой вид:

= = ESS,

так что свойство наименьших квадратов обосновано.

24. Теорема Гаусса-Маркова – Эйткена. Вывод оценки дисперсии единицы веса, .

Теорема (Гаусс, Марков, Эйткен).  Пусть матрица X уравнений наблюдений размера n (k+1), где n>(k+1), обладает линейно-независимыми столбцами, а случайные возмущения удовлетворяют 4-м условиям:

E(u₁) = E(u₂) = ... = E(u_n) = 0,  (1)

Var(u1)=..=Var(un)=σ2 (2)

Cov(ui,uj)=0, i≠j (3)

Cov(x_mi,u_j) = 0 при всех значениях m=1,…k; i и j. (4)

Тогда:

a) наилучшая линейная процедура (9.12) имеет вид

(5)

б) линейная несмещённая эффективная оценка (9.21) обладает свойством наименьших квадратов

(6)

в) ковариационная матрица оценки (9.21) вычисляется по правилу

; (7)

г) несмещённая оценка параметра ² модели находится по формуле:

(8)

где (k+1) – количество неизвестных коэффициентов функции регрессии.

Перепишем схему Гаусса-Маркова в следующем виде:

Рассмотрим величину (квадратичная сложная форма вектора а); она зависит, очевидно, от выборки, а значит является случайной переменной. Какие количественные характеристики имеет эта переменная? Можно доказать (делать этого здесь не будем), что

Получается, что величина

(*)

служит несмещённой оценкой константы . Заметим, что при формула (*) превращается в выражение