6. Классическая парная регрессионная модель (определение и спецификация модели).

Наблюдаемая случайная переменная   , которую называют регрессандом, может быть представлена линейной функцией от   наблюдаемых переменных   , называемых регрессорами, и от скрытых (латентных) случайных переменных   , называемых случайными возмущениями

Функция называется регрессионной[1]. Имеющийся ряд наблюдений по   позволяет для каждого наблюдения получить соотношение

 (I. 1)

Вероятностный характер возмущений делает регрессионную функцию стохастической.

Ряды данных (наблюдений) длиной   для регрессанда и каждого из регрессоров необходимы для того, чтобы оценить параметры модели статистически. Количество рядов равно   в каждом   точек наблюдения[2]:

Длина временных рядов   образует так называемый опорный базовый период оценки.

Таким образом, для каждого из наблюдений имеем следующие соотношения:

 .

Обозначая   

 мерный   мерная матрица

вектор

   ,

 мерный   мерный

вектор вектор

выше приведенное соотношение можно переписать в векторной форме:   Матрицу вида   будем называть матрицей данных.

При формировании матрицы данных, значения измеряемых величин “шкалируются” относительно фиксированных значений одного из регрессоров (например, первого).

Выражение вида   называют систематической частью регрессанда.

Спецификация парной линейной регр. модели имеет вид: Y=a+bX+ε, где a и b – параметры модели (постоянные неизвестные коэфф-ты), Х – экзогенная переменная (регрессор), У – эндогенная переменная (отклик), ε – случайное возмущение, характеризующее отклонение f(x)= a+bX (теоретической линей зависимости) и возникающее:

- из-за ошибок спецификации

- из-за ошибок измерений

Уравнения для отдельных наблюдений зависимой переменной У записываются в виде (схема Гаусса-Маркова)

Y_t=a+bX_t+ε_t , t=1,…,n – выборочные данные, n – объём выборки.

Относительно возмущений ε_t, в регр.моделях принимаются след. предположения (условия Гаусса-Маркова)

7. Оценка параметров парной регрессионной модели методом наименьших квадратов (суть метода, вывод формул для нахождения оценок коэффициентов через систему нормальных уравнений).

Метод наименьших квадратов(МНК)- метод, при котором рассчитывается сумма квадратов отклонений при котом рассчитывается сумма квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений у(оцененная) (рассчитанных на основании функции регрессии f(x)

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических)   минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

 , где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку   , получим следующую формулу расчета оценки параметра b

Таким образом: 

Свойство несмещенности оценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности оценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.