19.Уравнение множественной линейной регрессии. Оценка параметров.

Урав­нение множественной регрессии Y = f(β, X) + ε, где X - вектор независимых (объясняющих) перемен­ных; β - вектор параметров (подлежащих определению); ε - случай­ная ошибка (отклонение); Y - зависимая (объясняемая) переменная. Теоретическое линейное уравнение регрессии: . Здесь - вектор размерности (m+1) неизвестных параметров. называется j-м теоретическим коэффи­циентом регрессии (частичным коэффициентом регрессии). Он ха­рактеризует чувствительность величины Y к изменению Xj. -свободный член, определяющий значение Y, когда все объясняющие переменные X, равны нулю.

Для модели множественной линеиной регрессии метод наименьших квадратов, также как и для парнои линеиной регресси, состоит в оценке коэффициентов регрессии из условия минимума суммы квадратов остатков.

Запишем уравнение множественной линеиной регрессии в матричной форме: , , (штрих означает транспонирование).

Определим столбец остатков: ,

Суть МНК:

Это выражение зависит от вектора b и достигает минимума, если его производная по b равна нулевому вектору, т.е. .

Если столбцы матрицы Х линеино независимы, то существует обратная матрица , и можно наити оценку вектора β коэффициентов регрессии: . Он также обозначается через .

20.Явление мультиколлинеарности и способы ее устранения.

Мультиколлениарность – это совместная или множественная взаимозависимость объясняющих переменных моделей.

Мультиколлинеарность в строгом смысле( полная мультиколлениарность) определяется нарушением одного из требований теоремы Гауса Маркова, а именно требованием к рангу матрицы Х: регрессоры модели X1,X2,…Xk характеризуются свойством полной мультиколлениарности , если ранг матрицы наблюдаемых значений регрессоров меньше К.

Ранг матрицы – максимальное число линейно-независимых строк-столбцов.

, если выполняется условие:

и только если:

Реальная(частичная) мультиколлениарность – наблюдается в случае наличия достаточно тесных связей между регрессорами.

Способы устранения:

1. Исключение переменной из модели

2. получение дополнительных данных или новой выборки

3. изменение спецификации модели

4. преобразование переменных

21.Причины появления мультиколлинеарности и способы ее выявления.

Мультиколлениарность факторов – тесная корреляционная взаимосвязь между отбираемыми для анализа факторами, совместно воздействующими на общий результат, которая затрудняет оценивание регрессионных параметров

  – наличие высокой линейной связи между всеми или несколькими факторами.

Основные причины возникновения мультиколлинеарности

1. ошибочное включение в уравнение 2х или более  линейно зависимых переменных

2. значение одной независимой переменной могут являться лагированным значением другой

3.две или более объясняющие переменные, в нормальной ситуации слабо коррелированные, становятся в конкретных условиях выборки  сильно коррелированными.

4. в модель  включается  переменная, сильно коррелирующая  с зависимой переменной.

Способы выявление(рекомендации):

1. анализ корреляционной матрицы независимых переменных

2. мультиколлениарность может существовать, если небольшое изменение исходных данных приводит к существенному изменению коэф-тов модели

3. мультиколлениарность может быть если оценки коэффициентов имеют большие стандартные ошибки, малую значимость, в то время , как модель в целом является значимой

4. оценки коэффициентов имеют неправильные с точки зрения теории знаки или неоправданно большие значения.