Расчет коэффициентов множественной линейной регрессии методом мнк

Наилучшие значения параметров регрессии определяются методом наименьших квадратов. Рассмотрим случай , следовательно, уравнение имеет вид . Тогда

, , ,

,

,

.

Стандартные ошибки коэффициентов

Знание дисперсий и стандартных ошибок позволяет анализировать точность оценок, строить доверительные интервалы для теоретических коэффициентов, проверять гипотезы.

Подставив значения факторов в найденное уравнение регрессии , мы получим числа , . Тогда разность между наблюдаемым значением и расчетным значением и есть величина ошибки , .

Стандартная ошибка регрессии определяется формулой . Зная S, можно найти стандартные ошибки коэффициентов. Для случая они определяются формулами:

.

Интервальные оценки теоретического уравнения линейной регрессии

По найденным точечным оценкам можно построить p-процентные доверительные интервалы, которые задаются формулой , , где , определяется с помощью функции СТЬЮДРАСПОБР(;nm1).

Проверка статистической значимости коэффициентов уравнения линейной регрессии

В модель включено m объясняющих переменных . Возможно, что не все из них влияют на результативный признак y. Поэтому проводится проверка статистической значимости коэффициентов уравнения линейной регрессии. Для этого выдвигаются гипотезы:

H₀: объясняющая переменная не влияет на результативный признак y;

H₁: объясняющая переменная влияет на результативный признак y.

Доверительная вероятность p. . Граничные точки . Статистика .

Проверка статистической значимости коэффициентов уравнения линейной регрессии

После исследования статистической значимости коэффициентов уравнения линейной регрессии проверяют общее качество уравнения. С этой целью вычисляется коэффициент детерминации: . Чем ближе к 1, тем лучше полученное уравнение линейной регрессии объясняет поведение результативного признака.

В многофакторной регрессии добавление дополнительных объясняющих переменных увеличивает коэффициент детерминации. Следовательно, он должен быть скорректирован с учетом числа независимых переменных. Скорректированный (нормированный) коэффициент детерминации рассчитывается по формуле .

С целью анализа совокупной значимости коэффициентов уравнения проверяют гипотезу о статистической значимости коэффициента детерминации:

H₀: (нет линейной взаимосвязи);

H₁: (есть линейная взаимосвязь).

Проводим правостороннюю проверку. Доверительная вероятность p. . Граничная точка определяется с помощью функции FРАСПОБР( ; ; ). Статистика .

Регрессия и excel

Пакет MS Excel позволяет при построении уравнения линейной регрессии большую часть работы сделать очень быстро. Важно понять, как интерпретировать полученные результаты.

Для работы необходима надстройка Пакет анализа, которую необходимо включить в пункте меню Сервис\Надстройки

В Excel 2007 для включения пакета анализа надо нажать перейти в блок Параметры Excel, нажав кнопку в левом верхнем углу, а затем кнопку «Параметры Excel» внизу окна:

Далее в открывшемся списке нужно выбрать Надстройки, затем установить курсор на пункт Пакет анализа, нажать кнопку Перейти и в следующем окне включить пакет анализа.

Для построения модели регрессии необходимо выбрать пункт Сервис\Анализ данных\Регрессия. (В Excel 2007 этот режим находится в блоке Данные/Анализ данных/ Регрессия). Появится диалоговое окно, которое нужно заполнить:

1. Входной интервал Y  содержит ссылку на ячейки, которые содержат значения результативного признака y. Значения должны быть расположены в столбце;

2. Входной интервал X  содержит ссылку на ячейки, которые содержат значения факторов . Значения должны быть расположены в столбцах;

3. Признак Метки ставится, если первые ячейки содержат пояснительный текст (подписи данных);

4. Уровень надежности  это доверительная вероятность, которая по умолчанию считается равной 95%. Если это значение не устраивает, то нужно включить этот признак и ввести требуемое значение;

5. Признак Константа-ноль включается, если необходимо построить уравнение, в котором свободная переменная ;

6. Параметры вывода определяют, куда должны быть помещены результаты. По умолчанию строит режим Новый рабочий лист;

7. Блок Остатки позволяет включать вывод остатков и построение их графиков.

В результате выводится информация, содержащая все необходимые сведения и сгруппированная в три блока: Регрессионная статистика, Дисперсионный анализ, Вывод остатка. Рассмотрим их подробнее.

1. Регрессионная статистика:

множественный R определяется формулой (коэффициент корреляции Пирсона);

R-квадрат вычисляется по формуле (коэффициент детерминации);

Нормированный R-квадрат вычисляется по формуле (используется для множественной регрессии);

Стандартная ошибка S вычисляется по формуле ;

Наблюдения  это количество данных n.

2. Дисперсионный анализ, строка Регрессия:

Параметр df равен m (количество наборов факторов x);

Параметр SS определяется формулой ;

Параметр MS определяется формулой ;

Статистика F определяется формулой ;

Значимость F. Если полученное число превышает , то принимается гипотеза (нет линейной взаимосвязи), иначе принимается гипотеза (есть линейная взаимосвязь).

3. Дисперсионный анализ, строка Остаток:

Параметр df равен ;

Параметр SS определяется формулой ;

Параметр MS определяется формулой .

4. Дисперсионный анализ, строка Итого содержит сумму первых двух столбцов.

5. Дисперсионный анализ, строка Y-пересечение содержит значение коэффициента , стандартной ошибки и t-статистики .

P-значение  это значение уровней значимости, соответствующее вычисленным t-статистикам. Определяется функцией СТЬЮДРАСП(t-статистика; ). Если P-значение превышает , то соответствующая переменная статистически незначима и ее можно исключить из модели.

Нижние 95% и Верхние 95%  это нижние и верхние границы 95-процентных доверительных интервалов для коэффициентов теоретического уравнения линейной регрессии. Если в блоке ввода данных значение доверительной вероятности было оставлено по умолчанию, то последние два столбца будут дублировать предыдущие. Если пользователь ввел свое значение доверительной вероятности, то последние два столбца содержат значения нижней и верхней границы для указанной доверительной вероятности.

6. Дисперсионный анализ, строки содержат значения коэффициентов, стандартных ошибок, t-статистик, P-значений и доверительных интервалов для соответствующих .

7. Блок Вывод остатка содержит значения предсказанного y (в наших обозначениях это ) и остатки .

Пример 9.

Предполагается, что объем предложения товара y линейно зависит от цены товара и зарплаты сотрудников . Статистические данные приведены в таблице:

	20	35	30	45	60	70	75	90	105	110
	10	15	20	25	40	37	43	35	40	55
	12	10	9	9	8	8	6	4	4	5

1. построить методом МНК уравнение регрессии;

2. найти стандартную ошибку регрессии и стандартные ошибки коэффициентов;

3. найти доверительные интервалы коэффициентов теоретического уравнения линейной регрессии, доверительная вероятность 95%;

4. определить статистическую значимость коэффициентов теоретического уравнения линейной регрессии, доверительная вероятность 95%;

5. проверить общее качество уравнения линейной регрессии, доверительная вероятность 95%.

Решение.

Вводим заданные значения и y, затем выбираем пункт меню Сервис\Анализ данных/Регрессия. Далее указываем интервалы значений x и y, включаем режим Метки, оставляем уровень надежность по умолчанию, указываем выходной интервал и включаем вывод остатков:

Получаем результат:

а)

б)

в)

г)

д)

б)

д)

1. Коэффициенты уравнения , соответствуют данным столбца Коэффициенты.

2. Стандартная ошибка регрессии, равная 8,88, соответствует значению Стандартная ошибка блока Регрессионная статистика.

Стандартные ошибки коэффициентов , , соответствуют значениям столбца Стандартная ошибка блока Дисперсионный анализ.

3. Доверительные интервалы соответствуют интервалам

; ; .

4. Статистическая значимость коэффициентов уравнения соответствует столбцу t-статистика: , , . Граничная точка вычисляется с помощью функции СТЬЮДРАСПОБР(0,05;1021). Все значения t-статистик по модулю больше граничного значения, следовательно, все коэффициенты статистически значимы и влияют на результативный признак. Этот факт подтверждают P-значения из соответствующего столбца. Они все меньше значения  = 0,05.

5. Коэффициент детерминации равен 0,94 (в блоке Регрессионная статистика он называется R-квадрат). Это означает, что наша модель объясняет 94% общего разброса значений результативного признака. Скорректированный (нормированный) коэффициент детерминации равен 0,92. Это означает, что наша модель объясняет 92% общего разброса значений результативного признака с учетом поправки на число степеней свободы.

Проверяем гипотезу о статистической значимости коэффициента детерминации:

H₀: (нет линейной взаимосвязи);

H₁: (есть линейная взаимосвязь).

Проводим правостороннюю проверку. Доверительная вероятность p = 0,95, . Граничная точка определяется с помощью функции FРАСПОБР(0,05;2;7) = 4,74. Статистика (определяется из блока Дисперсионный анализ).

Отметим значения на числовой оси

Гипотеза отвергается H₀ и принимает гипотеза H₁ на уровне значимости 5%, предположение о незначительности связи отвергается. Это значит, что между переменными существует линейная взаимосвязь.

Этот вывод подтверждает число из столбца Значимость F, которое меньше значения  = 0,05.