Исключение автокорреляции в остатках с помощью омнк

Рассмотрим случай автокорреляции остатков для модели, в которой наблюдения упорядочены во времени. Будем считать, что M(ε) = 0, и остатки гомоскедастичны.

Возьмем так называемый авторегрессионный процесс первого порядка, когда каждое последующее значение случайной компоненты связано с предыдущим линейной зависимостью:

ε

(2.23)

_t = pε_t-1 + υ_t,

где t = 1, 2, …, n – номера последовательных наблюдений;

υ_t - случайная компонента построенной зависимости⁴, имеющая нулевое математическое ожидание и дисперсию σ₀², не подверженная автокорреляции;

p - коэффициент авторегрессии.

Так как величины и независимы, дисперсию суммы можно посчитать по следующей формуле (постоянный сомножитель выносим за скобки, возводя в квадрат, по свойству дисперсии):

D

(2.24)

(ε_t) = p²D(ε_t-1) + D(υ_t)

Поскольку остатки гомоскедастичны, D(ε_t) = D(ε_t-1) = σ², получим:

σ

(2.25)

² = p²σ² + σ₀²

Отсюда следует, что |p| < 1 (так как величина дисперсии должна быть положительной).

Найдем ковариацию⁵ двух соседних остатков, подставляя вместо ε_t выражение (2.23). При этом учтем, что математическое ожидание каждого из них равно нулю, и что математическое ожидание произведения независимых случайных величин ε_t-1 и υ_t, можно рассчитать, как произведение математических ожиданий:

(2.26)

Можно показать, что ковариации любой пары остатков рассчитываются по формуле:

(2.27)

Тогда ковариационная матрица (2.15) примет вид:

(2.28)

Если параметр p известен, то для нахождения параметров линейной функции регрессии можно применить ОМНК.

Покажем, что при этом будет устранена автокорреляция остатков. Рассмотрим множественную линейную регрессию y = a₁x₁ + a₂x₂ + + … + a_mx_m + b + ε. Запишем уравнения регрессии для периодов t и (t – 1), умножив обе части последнего уравнения на p:

y_t = a₁x_1t + a₂x_2t + … + a_mx_mt + b + ε_t

p

(2.29)

y_t-1 = pa₁x_{1 t-1} + pa₂x_{2 t-1} + … + pa_mx_{m t-1} + pb + pε_t-1

Вычтем из первого уравнения второе, преобразовав результат к следующему виду:

y

(2.30)

_t - py_t-1 = a₁(x_1t - px_{1 t-1}) + a₂(x_2t – px_{2 t-1}) + … + + a_m(x_mt – px_{m t-1}) + b(1 – p) + ε_t - pε_t-1

Применив формулу (2.23), получим

y

(2.31)

_t - py_t-1 = a₁(x_1t - px_{1 t-1}) + a₂(x_2t – px_{2 t-1}) + … + + a_m(x_mt – px_{m t-1}) + b(1 – p) + υ_t

В новой модели (2.31) устранена автокорреляция остатков, так как новые остатки - υ_t - независимы.

Для определения неизвестного параметра авторегрессии p можно использовать различные методы оценки. Проще всего оценить его с помощью обычного МНК, применяя его к уравнению авторегрессии остатков (2.23). Способ получения оценки дисперсии регрессионных остатков σ² будет рассмотрен позже. С помощью оценок p и σ² можно получить оценку ковариационной матрицы (2.28) для применения ОМНК. Такой способ нахождения этой матрицы получил название доступного ОМНК.

1 Эта формула доказывается так же, как и аналогичная формула для выборочной дисперсии (дисперсия равна разности между средним квадратом значений показателя и квадратом среднего значения: ).

2Голдфелд (Гольдфельд) Дориан Моррис – современный американский математик. Квандт Ричард Эмерик – современный американский экономист. Вышеупомянутый тест был разработан ими в 1965 г.

3Дарбин Джеймс – современный английский экономист-математик. Уотсон Марк – современный американский экономист-математик.

4 Обычно предполагается, что эта случайная величина имеет нормальное распределение.

5 Для расчета ковариации в теории вероятностей можно использовать следующую формулу: Cov (x,y) = M(x*y) – M(x)*M(y) (рекомендуется сравнить с формулой, используемой в статистике: .