Раздел 4. Регрессионный анализ
При построении уравнения регрессии
вначале проводится корреляционный
анализ, с помощью которого выявляется
наличие статистически значимых связей
между переменными и оценивается степень
их тесноты. Затем переходят к математическому
описанию конкретного вида зависимостей
с использованием регрессионного анализа.
С этой целью подбирают вид функций,
связывающий результативный показатель
у и аргументы
,
отбирают наиболее информативные
аргументы, вычисляют оценки неизвестных
значений параметров уравнения регрессии
и анализируют точность полученного
уравнения.
Работа № 10
Регрессия
Уравнением регрессии называется функция,
описывающая зависимость условного
среднего значения результативного
признака у от заданных значений
аргументов, т.е.
.
Богатый опыт по подбору параметров уравнения регрессии показывает, что в реальных процессах зависимость результативного показателя (отклика системы) у от аргументов (факторов) хорошо описывается полиномом вида
Данный полином называют регрессионной
зависимостью (уравнением регрессии),
а коэффициенты
– статистическими оценками коэффициентов
регрессии. При этом
– линейные коэффициенты,
– нелинейные коэффициенты,
– коэффициенты, учитывающие взаимное
влияние факторов.
Задача регрессионного анализа заключается в экспериментальном определении коэффициентов регрессии b путем наблюдения за характером изменения входных переменных (факторов) и выходной величины (результативного показателя).
Линейная модель уравнения регрессии строится с использованием следующей зависимости:
,
где
– матреца-столбец коэффициентов
регрессии;
– матрица входных переменных;
– матрица-столбец выходных переменных
(результативного признака); k
– число факторов; n –
число параллельных опытов.
Значимость коэффициентов регрессии проверяется с помощью t-критерия, основанного на статистике:
,
где
– дисперсия коэффициента
;
– несмещенная оценка остаточной
дисперсии;
– элементы обратной матрицы, стоящие
на главной диагонали.
Статистика
при выполнении гипотезы
имеет распределение Стьюдента с числом
степеней свободы
.
По уровню значимости
и числу степеней свободы f
определяют
.
Если
,
нулевую гипотезу отклоняют и принимают
гипотезу, что
значимы.
Доверительные интервалы для значимых коэффициентов регрессии строятся по зависимости
,
находят с помощью таблицы распределения
Стьюдента (приложение 2) по уровню
значимости
и числу степеней свободы
.
При необходимости строят доверительный интервал для результативного показателя
.
При проведении регрессионного анализа рассчитываются показатели так называемой регрессионной статистики:
множественный коэффициент корреляции
,
– определитель корреляционной матрицы;
– алгебраическое дополнение элемента
корреляционной матрицы
;
квадрат множественного коэффициента
корреляции (коэффициент детерминации)
:
нормированный
.
стандартную ошибку
,
где
.
Для исходных данных задачи проводится однофакторный дисперсионный анализ, при этом рассчитываются:
сумма квадратов регрессии
с числом степеней свободы k;
сумма квадратов остатков
с числом степеней свободы
;
сумма квадратов общая
с числом степеней
;
дисперсии
;
расчетное значение F-критерия
;
значимость F определяется также как при рассмотрении двухвыборочного F-теста для дисперсий;
Р – значение определяется также, как при рассмотрении парного двухвыборочного t – теста для средних (вероятность значимости).
Расчетное значение
сравнивается
с
,
определяемого по таблице критических
точек распределения Фишера. При этом
проверяется гипотеза
,
где
.
Если , гипотеза отвергается, т.е. хотя бы один коэффициент регрессии не равен нулю.
Пример 10
На основе линейной регрессионной модели
исследовать зависимость производительности
труда (у) от трудоемкости единицы
продукции
и среднегодовой стоимости
.
Имеются данные по 15 предприятиям (табл.
15).
Таблица 15
№ |
Y |
|
|
1 |
26 |
37 |
39 |
2 |
33 |
33 |
40 |
3 |
24 |
15 |
35 |
4 |
29 |
36 |
48 |
5 |
42 |
26 |
53 |
6 |
24 |
24 |
42 |
7 |
52 |
15 |
54 |
8 |
56 |
33 |
54 |
9 |
26 |
44 |
50 |
10 |
45 |
34 |
53 |
11 |
27 |
63 |
46 |
12 |
54 |
8 |
50 |
13 |
34 |
44 |
43 |
14 |
48 |
43 |
55 |
15 |
45 |
31 |
51 |
Решение
Рассчитав коэффициенты уравнения регрессии, получим уравнение регрессии:
.
Несмещенная оценка остаточной дисперсии:
.
Несмещенная оценка дисперсии регрессии
.
Рассчитываем опытное значение критерия
.
По таблице критических точек распределения
Фишера определяем
.
Т.к.
,
то полученное уравнение регрессии
значимо, т.е. хотя бы один из коэффициентов
уравнения регрессии не равен нулю.
Статистические оценки дисперсий
коэффициентов уравнения регрессии
определим, умножив
на диагональные элементы обратной
матрицы
,
получим:
.
Проверяем значимость коэффициентов
и
,
т.е. гипотезу
.
.
С помощью таблицы критических точек
распределения Стьюдента по
и
определяем
.
,
коэффициент
значим;
,
коэффициент
значим.
Определим с доверительной вероятностью
интервальные оценки для коэффициентов
регрессии:
;
;
.
В пакете Анализ данных инструмент Регрессия предлагает линейный регрессионный анализ, который заключается в подборе графика для набора наблюдений с помощью метода наименьших квадратов. Регрессия используется для анализа воздействия на отдельную зависимую переменную значений одной или более независимых переменных.
Рассмотрим работу пакета для проведения регрессионного анализа (рис. 16).
В категории Входные данные необходимо указать:
– Входной интервал Y – диапазон анализируемых зависимых данных; диапазон должен состоять из одного столбца;
– Входной интервал X – диапазон независимых данных, подлежащих анализу. Microsoft Excel располагает независимые переменные этого диапазона слева направо в порядке возрастания. Максимальное число входных диапазонов равно 16;
– Константа – ноль – установите
флажок, чтобы линия регрессии прошла
через начало координат (коэффициент
);
–
Уровень надежности – установите
флажок, чтобы включить в выходной
диапазон дополнительный уровень. В
соответствующее поле введите уровень
надежности, который будет использован
дополнительно к уровню 95 %, применяемому
по умолчанию.
Excel предлагает в качестве параметров вывода Остатки (Остатки; Стандартизованные остатки; График остатков; График подбора) и Нормальную вероятность (График нормальной вероятности).
Решим пример 10, используя инструмент Регрессия.
Алгоритм действий следующий:
1. Формируем таблицу исходных данных (рис. 16):
2. Сервис | Анализ данных | Регрессия | ОК;
3. Входной интервал Y: А2:А16;
4. Входной интервал X: В2:С 16:
5. Уровень надежности: 90 %;
6. Выходной интервал: А18;
7. Поставить флажки в категории Остатки и Нормальная вероятность;
8. ОК.
E
xcel
представит решение, показанное на рис.
17.
Результаты представлены в виде пяти таблиц.
1. Регрессионная статистика. В таблице представлены:
– Множественный R – множественный коэффициент корреляции;
– R-квадрат – квадрат множественного коэффициента корреляции;
– Нормированный R-квадрат – нормированный квадрат множественного коэффициента корреляции;
– Стандартная ошибка –
;
– Наблюдения.
2. Дисперсионный анализ. В таблице представлены (для регрессии и остатков):
– df – число степеней свободы;
– SS – суммы квадратов разностей;
– MS – оценки дисперсий;
– F – вычисленное значение критерия
Фишера
;
– Значимость F.
3. Таблица с информацией об уравнении
регрессии. В представлены (для
переменной
(Y – пересечение),
):
– Коэффициенты –
и
;
– Стандартная ошибка –
и
;
– t – статистика –
и
;
– Р – значение – вероятность значимости;
– Нижние 95 % и Верхние 95 %, Нижние
90 % и Верхние 90 % – интервальные
оценки для коэффициентов регрессии с
доверительной вероятностью
и
соответственно.
4. Вывод остатка. В таблице представлены:
– Наблюдение – порядковый номер значения производительности труда (у) в таблице исходных данных;
– Предсказанное у – значение
производительности труда
,
рассчитанное по уравнению регрессии;
– Остатки –
;
– Стандартные остатки.
5. Вывод вероятности. В таблице представлены:
– Персентиль – рассчитывается для
каждого значения у как сумма
предшествующего вычисленного значения
персентиля и
наблюдения; начальное и конечное значения
персентиля рассчитываются как
и
соответственно;
– у – значения производительности труда, расположенные в порядке возрастания.
Кроме таблиц, Excel представляет следующие графики, показанные на рис. 18-20.
1. График нормального распределения строится по данным таблицы Вывод вероятности.
2. Графики остатков для переменных
и
.
3. Графики подбора для переменных и .
