Статистические свойства оценок коэффициентов регрессии:

- оценки коэффициентов a₀ , a₁ являются несмещенными;

- дисперсии оценок a₀ , a₁ уменьшаются (точность оценок увеличивается) при увеличении объема выборки n;

- дисперсия оценки углового коэффициента a₁ уменьшается при увеличении и поэтому желательно выбирать х_i так, чтобы их разброс вокруг среднего значения был большим;

- при х¯ > 0 (что представляет наибольший интерес) между a₀ и a₁ имеется отрицательная статистическая связь (увеличение a₁ приводит к уменьшению a₀).

Теорема Гаусса – Маркова

Если регрессионная модель (1) удовлетворяет условиям 1)-4), МНК оценки a₀ и a₁ , полученные из системы 4), имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (являются наиболее эффективными).

Оценка значимости и доверительных интервалов для коэффициентов регрессии

Пусть β⁰_j - заданное гипотетическое значение j-го коэффициента регрессии (j=0,1). При оценке значимости коэффициентов регрессии β₁ и β₀ формулируются следующие гипотезы:

H₀ : β_j = β⁰_j

H₁: β ≠ β⁰_j

Статистикой критерия является случайная величина

= ( a_j - _aj (5)

При условии выполнения нулевой гипотезы Ho имеющая распределение Стьюдента с к=n-2 степенями свободы. Критическая область, как следует из вида конкурирующей гипотезы H₁, является двусторонней.

Критическая точка t_кр = t_кр (α; к=n-2) находится по статистическим таблицам или с помощью стандартных функций в пакетах прикладных программ.

Наиболее просто статистика (4) выглядит при β⁰_j=0, когда

1. =

==

= (6)

В этом случае при оценке значимости коэффициентов регрессии β₁ и β₀ гипотезы имеют следующий вид:

H₀ : β_j = 0

H₁: β ≠ 0

Нулевая гипотеза принимается в случае, когда ׀t_aj׀ ≤ t_кр и с уровнем значимости α делается вывод о том, что коэффициент β_j незначим. Альтернативная гипотеза принимается в случае, когда ׀t_aj׀ > t_кр t_кр и с уровнем значимости α делается вывод о том, что коэффициент β_j значим (имеется статистическая связи между х и у).

Именно такой подход используется в компьютерных пакетах. При использовании этого подхода обычно дополнительно вычисляется так называемое p-значение.

Анализ вариации зависимой переменной (дисперсионный анализ)

Согласно идее дисперсионного анализа, общую сумму квадратов (вариацию или разброс y_i вокруг среднего значения )

Q=

можно разбить на две части – объясненную уравнением регрессии и необъясненную (остаточную):

Q=Q_r +Q_e ,

где Q_r=– сумма квадратов, объясненная регрессией;

Q_e=– остаточная сумма квадратов, характеризующая влияние случайных (неучтенных) факторов.

Выборочный коэффициент детерминации

Выборочный коэффициент детерминации показывает, какая доля вариации зависимой переменной обусловлена вариацией объясняющей переменной и определяется выражением

= = 1 -

Свойства коэффициента :

1. Коэффициент служит для оценки значимости уравнения регрессии, в том числе линейной и множественной.

2. Коэффициент – состоятельная оценка генерального коэффициента детерминации (при выполнении 5-го условия КЛМПР).

3. Коэффициент – безразмерная величина, лежащая в пределах

0 ≤ ≤ 1.

4. При =0 вариация зависимой переменной полностью обусловлена воздействием неучтенных в модели переменных (случайных факторов) и линия регрессии параллельна оси абсцисс (Q_r=0, Q=Q_e).

5. При =1 все эмпирические точкиy_i лежат на линии регрессии, и между х и у имеется линейная функциональная завиисмость (Q_r =Q, Q_e=0).

6. Для линейной парной регрессии (в общем случае это неверно) . В общем случае коэффициент=иногда называют множественным коэффициентом корреляции.

Оценка значимости уравнения регрессии

Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Проверка значимости уравнения регрессии проводится на основе регрессионного анализа. Для оценки значимости уравнения регрессии естественно использовать величину

F== (n-2), (*)

которая показывает, во сколько раз объясненная (факторная) дисперсия превышает остаточную. Понятно, что при отсутствии какой-либо линейной статистической связи между зависимой и предикторной переменной (при β=0 и, следовательно, незначимости уравнения регрессии) факторная и остаточнаядисперсии будут близкими друг к другу, и величинаF будет мала. В этом случае статистика (*) имеет распределение Фишера-Снедекора (F – распределение) с к₁=1 и к₂=n-2 степенями свободы числителя и знаменателя.

Следовательно, нулевая гипотеза о незначимости уравнения регрессии Н₀: β₁=0.

Критическая точка F_кр= F_кр (α; к₁=1, к₂=n-2) находится по таблицам критических точек или с помощью стандартных функций в пакетах компьютерных программ.

Нулевая гипотеза принимается, когда F< F_кр и с уровнем значимости α делается вывод о том, что уравнение регрессии значимо.

В противном случае, когда F≥ F_кр с уровнем значимости α делается вывод о том, что уравнение регрессии значимо.

Величину F можно выразить в эквивалентном виде

F=, (**)

из которого вытекает явный экономический смысл – чем ближе коэффициент к 1, тем более значимо уравнение регрессии (хорошая аппроксимация эмпирических данных).

Легко показать (см. Приходько с.17,20), что выполняется соотношение

F==, справедливое, однако только для случая парной регрессии, когда корень из статистики (**):

t_r= = ,

имеет распределение Стьюдента с к=n-2 степенями свободы.

Доверительный интервал для значений зависимой переменной

Ошибка регрессионного предсказания равна разности между действительными y_i и предсказанными ŷ_i значениями зависимой переменной

e_i = y_i - ŷ_i (***)

(ошибка (***) имеет нулевое математическое ожидание М[e_i]=0). Соответствующий доверительный интервал для y_i определяется по формуле

y_{i min} < y_i < y_{i max} ,

где y_{i min} = ŷ_i – t_кр , y_{i max} = ŷ_i + t_кр , t_кр = t_кр (α; к = n–2) – критическая точка распределения Стьюдента с к = n–2 степенями свободы для уровня значимости α.

Как следует из (***) по мере удаления аргумента x_i от среднего значения , ширина доверительного интервала увеличивается.

Пример 2. (парной линейной регрессии пример Кремер с.449).