3 Множественная регрессия и корреляция

1. Краткая теория

Множественная регрессия – уравнение связи с несколькими независимыми переменными:

,

где -зависимая переменная (результативный признак),

-независимые переменные (факторы)

Для построения уравнения множественной регрессии чаще используются следующие функции:

• линейная - ;

• степенная - ;

• экспонента - ;

• гипербола - .

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Другой вид уравнения множественной регрессии – уравнение регрессии в стандартизованном масштабе:

,

где , -стандартизованные переменные;

-стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии ( -коэффициенты) определяются из следующей системы уравнений:

Связь коэффициентов множественной регрессии со стандартизованными коэффициентам описывается соотношением

.

Параметр определяется так: .

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле:

Для расчета частных коэффициентов эластичности применяется формула:

.

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

.

Значение индекса множественной корреляции лежит в пределах от 0 до1 и должно быть больше или равно максимальному парному индексу корреляции:

.

Индекс множественной корреляции для уравнения в стандартизованном масштабе можно записать в виде:

.

Частные коэффициенты корреляции, измеряющие влияние на фактора при неизменном уровне других факторов можно определить по рекуррентной формуле:

.

Частные коэффициенты корреляции изменяются в пределах от -1 до 1.

Качество построенной модели в целом оценивает коэффициент (индекс) множественной детерминации , который рассчитывается как квадрат индекса множественной корреляции.

Скорректированный индекс множественной детерминации содержит поправку на число степеней свободы и рассчитывается следующим образом:

,

где -число наблюдений, -число факторов.

Значимость уравнения множественной регрессии в целом оценивается с помощью F-критерия Фишера. Фактическое значение критерия определяется по формуле:

определяется по уровню значимости (который обычно принимается равным 0,05 или 0,01), числу степеней свободы и числу степеней свободы .

Если , то вероятностью делаем заключение о статистической значимости уравнения в целом и показателя тесноты связи.

Частный F-критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. Фактическое значение для него определяется по формуле:

.

А табличное значение зависит от уровня значимости , числа степеней свободы и числа степеней свободы .

Оценку значимости коэффициентов чистой регрессии с помощью t-критерия Стьюдента сводится к вычислению значения:

,

где -средняя квадратическая ошибка коэффициента регрессии , она может быть определена по следующей формуле:

.

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов, их тесной линейной связанности. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если . По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции . Чем ближе к 0 значение , тем сильнее мультиколлинеарность факторов и ненадежнее результаты регрессии. И наоборот, чем ближе к 1 значение , тем меньше мультиколлинеарность факторов.