Матричная форма мнк

Рассмотрим систему нормальных уравнений МНК (2.3), используя обозначения матричной алгебры. А именно, введем следующие обозначения:

(2.8)

где m – число признаков-факторов,

n - число наблюдений.

Каждая строка матрицы соответствует одному из наблюдений, а каждый столбец, кроме первого, - одному из факторов.

Если транспонировать матрицу X размерности n x (m + 1), в полученной матрице X^Т размерности (m + 1) x n каждый столбец будет соответствовать одному из факторов, а строки - наблюдениям. Перемножив полученную матрицу X^Т на X, получим симметричную матрицу размерности (m + 1) x (m + 1):

(2.9)

Т

(2.10)

огда система (2.3) примет вид X^ТXА = X^ТY. Умножим слева обе части этого выражения на матрицу (X^ТX)^-1, получим: (X^ТX)^-1X^ТXА = = (X^ТX)^-1X^ТY. Поскольку (X^ТX)^-1X^ТX = I, формула для нахождения вектора параметров А примет вид:

А = (X^ТX)^-1X^ТY

МНК можно применять также, используя нелинейные функции. Он достаточно легко обобщается на полиномы более высоких степеней и ряд других функций.

Виды уравнений регрессии, параметры которых можно определить при помощи МНК:

1) линейная регрессия

2) нелинейная регрессия

а) полиномы различных степеней (квадратическая, кубическая функция и т.д.)

б) функции, преобразуемые к линейному виду (гиперболическая, степенная, экспоненциальная и некоторые другие функции).

Рассмотрим это более подробно.

Применение МНК к полиномиальной регрессии рассмотрим на примере использования квадратической функции в парной регрессии, т.е. при определении параметров уравнения y = ax² + bx + c. В этом случае будет построена система трех нормальных уравнений, с помощью которой можно найти три неизвестных параметра a, b и c (n – число наблюдений):

(2.11)

Некоторые другие нелинейные функции можно подвергнуть линеаризации, т.е. преобразовать в линейные различными способами, после чего к ним также применяется МНК. Рассмотрим несколько примеров.

Применение МНК к гиперболической функции. Эту функцию можно линеаризовать путем замены переменных. В уравнении гиперболы у = = a/x + b осуществим замену переменных следующим образом: z = 1/x. После этого уравнение станет линейным: у = az + b.

Применение МНК к степенной функции. Линеаризацию степенной функции y = ax^b осуществляют, логарифмируя обе части уравнения: ln y = = ln a + b*ln x. Можно осуществить замену переменных z = ln x и q = = ln y, тогда уравнение примет вид q = ln a + bz с неизвестными параметрами ln a и b, которые можно найти с помощью МНК.

Применение МНК к экспоненциальной функции (у = aе^bx). Эта функция также линеаризуется путем логарифмирования: ln y = ln a + bx; после замены переменной q = ln y получим q = ln a + bx.

Вышеперечисленные приемы линеаризации легко обобщаются на случай множественной регрессии. Рассмотрим это на примере степенной функции . Логарифмируя это уравнение, получим: ln y = ln a + b₁*ln x₁+b₂*ln x₂ + … + b_m*ln x_m, после чего путем замены переменных можно перейти к множественной линейной регрессии и применять МНК.

Линеаризация некоторых других функций для применения МНК. Например, рассмотрим функцию y = f(x₁,x₂) = a₁х₁ + a₂х₁² + a₃х₂² + b. Осуществим замену переменных следующим образом: x₃ = х₁²; x₄ = х₂². Тогда функция примет линейный вид: y = a₁х₁ + a₂x₃ + a₃x₄ + b.