67. Суть метода наименьших квадратов. Его графическое пояснение

Суть метода наименьших квадратов (МНК).

Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных а и b F(a,b)=Σⁿ_i=1 (_yi –(a_xi +b))^2 принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов. Таким образом, решение примера сводится к нахождению экстремума функции двух переменных.

М инимизация RSS, где

П очему берутся квадраты, а не простые суммы?

В данном методе оценки выбираются в соответствии с критерием минимизации суммы квадратов остатков RSS.

При минимизации простых сумм остатки в среднем гасят друг друга. Существуют и другие критерии оценки.

68. Схема Гаусса – Маркова.

Пусть матрица Х коэф-тов ур-ий наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовл-т четырем условиям:

E(u₁) = E(u₂) = … = E(u_n) = 0,

Var(u₁) = Var(u₂) = … = Var(u_n) = σ²

Cov (u_i, u_j) = 0 при i≠j

Cov(x_i,u_j) = 0 при всех зн-ях i и j

Тогда: а) наилучшая линейная процедура, приводящая к несмещенной и эффективной оценке, имеет вид:

(22)

б) линейная несмещенная эффективная оценка (22) обладает св-вом наименьших квадратов: в) ковариационная матрица оценки (22) вычисляется по правилу:

г) несмещенная оценка параметра σ² модели (2) нах-ся по формуле:

Следствие. Оценка ã, доставляемая процедурой (22) метода наименьших квадратов, может быть вычислена в процессе решения системы двух линейных алгебраических ур-ий:

именуемой системой нормальных ур-ий. Ее коэф-ты и свободные члены вычисляются по правилам:

[x] = x₁ + x₂ +…+ x_n,

[y]=y₁+y₂+…+y_n, [x²] = x₁² + x₂² +…+ x_n²,

[xy] = x₁*y₁ + x₂*y₂ + … + x_n*y_n .

Вот явный вид решения системы :

69. Схема построения эконометрической модели.

1) спецификация модели;

2) сбор статистической информации об объекте-оригинале в виде конкретных значений экзогенных и эндогенных переменных, включенных в спецификацию модели;

3) оценка параметров модели (настройка, оценивание или идентификация модели);

4) проверка адекватности модели (проверка соответствия настроенной модели объекту-оригиналу).

70. Теорема Гаусса – Маркова.

Постановка задачи:

Имеем случайную выборку наблюдений за поведением экономического объекта объемом n

Выборка наблюдений за переменными модели

Первый индекс – номер регрессора

Второй индекс – номер наблюдения

(7.2)

(7.2) - Система уравнений наблюдений, связывающая наблюдения в выборке

Сформируем вектора и матрицу коэффициентов на основе системы (7.2)

Y – вектор выборочных значений эндогенной переменной

U – вектор выборочных значений случайного возмущения

A - вектор неизвестных параметров модели

х – вектор регрессоров

X – матрица коэффициентов при неизвестных параметрах

По данным выборки найти: Ã, Cov(ÃÃ), σ_u, σ(ỹ(z))

Теорема (Гаусса – Маркова)

Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям:

Математическое ожидание всех случайных возмущений равно нулю

Дисперсия случайных возмущений постоянна во всех наблюдениях

(условие ГОМОСКЕДАСТИЧНОСТИ)

Случайные возмущения в разных наблюдениях не зависимы

Случайные возмущения и регрессоры не зависимы

Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является:

(7.3)

которая удовлетворяет методу наименьших квадратов

При этом:

Доказательство

Воспользуемся методом наименьших квадратов

(7.4)

где

(7.5)

Подставив (7.5) в (7.4) получим

(7.6)

Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров

Откуда система нормальных уравнений для определения искомых параметров получает вид

(7.7)

Решение системы (7.7) в матричном виде есть

Выражение (7.3) доказано

Докажем несмещенность оценок (7.3)

есмещенность оценки (7.3) доказана

Вычислим ковариационную матрицу оценок (7.3)

В результате получено выражение (7.4)