13. Регрессионный анализ: линейная и нелинейная регрессия, статистические свойства оценок коэффициентов регрессии.

Во многих прикладных задачах требуется построить математическую модель (уравнение), связывающую факторные (- изменение этих переменных влечет изменение результативной переменной) переменные Х₁, …Х_к и результативную (зависимую) переменную У. Предполагается У - случайной величиной, а Х₁, …Х_k не случайные величины. В этом случае математическая модель связи:

Y=f (Х₁…Х_k) + ε(Х₁…Х_k) (1)

(1) называется статистической моделью связи.

где ε(Х₁…Х_k) – случайная величина при каждом наборе (x₁,…x_k), f(x)=M(Y|X=x) – функция регрессии, - погрешность модели (случайная переменная), порожденная или действием неучтенных факторов, или случайными ошибками измерений случайной величины У.

Если факторных переменных больше 2х, то говорят о множественной регрессионной модели, если факторная переменная 1,то – о парной регрессионной модели:

Y=f (Х) + ε(Х)

Основные свойства регрессионной модели состоят в том, что для каждого набора :

1) математическое ожидание случайных ошибок (отсутствие систематической погрешности)

2) i≠j случайные ошибки некоррелируемы

3) случайные ошибки имеют одинаковую дисперсию (гомоскедастичность - равноизменчивость)

Основные задачи регрессионного анализа:

1. установление модели регрессии, т.е. вида f( ), что заключает в себе предположение о зависимости функции регрессии от значений факторных переменных и неизвестных параметров (b₁…b_m)= .

2. нахождение оценок неизвестных параметров методом наименьших квадрат (МНК)

3. проверка статистических гипотез о регрессии: гипотез об адекватности полученного уравнения , о значимости найденных по выборке параметров.

Различают парную линейную и нелинейную регрессию.

Линейной регрессией называют регрессию вида .

Нелинейные регрессии делятся на регрессии:

1. линейные по оцениваемым параметрам, но нелинейные по факторным переменным, например

   1. 

   2. 

   3. 

2. нелинейные по оцениваемым параметрам факторным. параметрам

   1. 

   2. 

Для оценки параметров уравнения регрессии линейных по параметрам используют МНК. Согласно МНК в качестве оценок неизвестных параметров выбирают такие, для которых сумма квадратов невязок , т.е. функция S( )= принимала бы наименьшее значение, т.е. S ( )= .

- отклонение факторного значения y_i от теоретического , рассчитанных по функциям регрессии . Необходимым условием экстремума функции S является условие равенства частных производных 0

- нормальная система МНК

Рассмотрим нахождение МНК оценок для парной линейной регрессии, имеющей вид: .

Согласно методу МНК . Необходимые условия экстремума имеют вид: ,

Нормальная система МНК будет иметь вид:

Выражая через линейный коэффициент корреляции (-1<r<1, если r=+(-)1, то СВ Х и У находятся в линейной зависимости) , . Тогда выборочное уравнение парной линейной регрессии .

Возникает вопрос: как соотносятся с ? Оказывается для линейной регрессии при выполнении основных предположений 1)-3) регрессионного анализа - за оценки , получаемые по МНК, являются несмещенными (математическое ожидание равно оцениваемому параметру), состоятельными (при увеличении объема выборки точечная оценка по вероятности стремится к оцениваемому параметру) и эффективными (имеющие наименьшую дисперсию в классе всех линейных несмещенных оценок). Если предположить, что ошибки наблюдений имеют нормальный закон распределений ε_i ~ , то оценки и имеют также нормальное распределение, что позволяет легко строить для параметра и доверительные интервалы и тем самым определять погрешность оценивания.