26. Гетероскедастичность. Последствия гетероскедастичности

Одно из условий Гаусса-Маркова требует постоянства дисперсии случайного члена εi во всех наблюдениях:

E(i²) ², i,...,n.

Это случай гомоскедастичности, при которой разброс точек наблюдений по вертикали в среднем не меняется с ростом номера наблюдений(Рис 1).

Если дисперсия случайного члена меняется от наблюдения к наблюдению, то мы имеем дело с гетероскедастичностью (рис2). При гетероскедастичности оценки коэффициентов регрессии будут несмещенными, но эффективными.

Вследствие этого могут оказаться завышенными t-статистики оценок коэффициентов, и будут сделаны ложные выводы о значимости коэффициентов регрессии.

Это явление возникает, когда не выполняется условие постоянства дисперсии ошибок i в разных наблюдениях:

E(i²) i², i,...,n.

Это значит, что нарушается условие V()=²In классической модели множественной линейной регрессии. Ковариационная матрица при гетероскедастичности будет диагональной:

(²1 0 … 0)

V()= (0 ²2 … 0)

(………….)

1. 0 … ²n).

Остальные условия Гаусса-Маркова считаются выполненными. В частности, возмущения в разных наблюдениях предполагаются некоррелированными. Поэтому элементы вне главной диагонали ковариационной матрицы равны нулю. Обозначим Ω= V().

Если в условиях гетероскедастичности к модели множественной линейной регрессии y=Xβ+применить метод наименьших квадратов, то оценка вектора коэффициентов βˆols=(X´X)‾ˡX´y также будет несмещенной:

E(βˆols)=E((X´X)‾ˡX´( Xβ+β+(X´X)‾ˡX´E(β.

Ковариационная матрица

V(βˆols)=V((X´X)‾ˡX´( Xβ+(X´X)‾ˡX´ΩX(X´X)‾ˡ.

Но оценка ковариационной матрицы V(βˆols) по методу наименьших квадратов оказывается смещенной. Действительно,

Vˆ (βˆols)=e´e/n-k(X´X)‾ˡ.

Найдем математическое ожидание этой оценки:

E(Vˆ (βˆols))=E(e´e)/n-k(X´X)‾ˡ=tr(V(e))/n-k(X´X)‾ˡ.

Учитывая, что

V(e)=V(My)=V(M(Xβ+V()M´=MΩM´, получим

E(Vˆ (βˆols))=tr(MΩ)/n-k(X´X)‾ˡ.

Видно, что, вообще говоря, E(Vˆ (βˆols))≠ V(βˆols), т.е. оценка

Vˆ (βˆols) ковариационной матрицы V(βˆols) смещенная. В частности, для ее диагональных элементов E(s²βˆj) ≠² βˆj=var(βˆj).

Оценка дисперсии оцененного по методу наименьших квадратов коэффициента βˆj оказывается смещенной. Тогда t-статистики

βˆi-βiº/ sβˆI, i=1,2,…,n,

будут неправильными, что может привести к ошибочным выводам о значимости коэффициентов регрессии.

27. Обобщенный метод наименьших квадратов.

Обобщённый метод наименьших квадратов — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — , где e — вектор остатков, W — симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.

Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.

Сущность обобщённого МНК

Известно, что симметрическую положительно определенную матрицу можно разложить как , где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков . Для линейной регрессии это означает, что минимизируется величина: где , то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы W используется обратная ковариационная матрица V классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:

Ковариационная матрица этих оценок равна: .