7. 3. Парная регрессия на основе метода наименьших квадратов

Парная регрессия характеризует связь между двумя признаками:

факторным и результативным.

Задача построения уравнения регрессии для одного факторного и

одного результативного признака формулируется следующим образом:

Пусть имеется набор значений двух переменных: результативного

признака yi и факторного признака xi . Между этими переменными

существует объективная связь вида: yi f xi i . Необходимо по данным

наблюдения ( y i , xi , i=1,n) подобрать функцию y F ( x) , наилучшим

€

образом описывающую существующую связь.

При подборе функции последовательно решаются две задачи:

 Определяется вид функциональной зависимости, то есть

проводитсяспецификация модели;

121

 Рассчитываются значения параметров уравнения регрессии.

В парной регрессии выбор вида математической функции может

быть осуществлён разными методами:

- аналитическим, исходя из материальной природы связи;

- графическим, на основе линии эмпирической регрессии;

- на основе показателей качества уравнения регрессии.

Показателем качества уравнения регрессии является величина

остаточной дисперсии:

n

€

y y2

2 i 1

€

y y .

n

Остаточная дисперсия рассчитывается для уравнений регрессии,

построенных по разным математическим функциям. Лучшим по качеству

является уравнение, для которого y y min .

2

€

При построении уравнений парной регрессии чаще всего

используют следующие уравнения:

прямой y a bx ,

€

параболы второго порядка y a bx cx 2 ,

€

b

гиперболы y a

€ ,

x

степенной y a x b ,

€

показательной y a b x ,

€

a

логистической кривой y

€ CX

и т.д.

1 bc

Оценка параметров уравнений регрессии может быть проведена

разными методами.

Классический подход к оцениванию параметров основан на методе

наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки

параметров уравнения регрессии, которые минимизируют функционал вида

n

S yi €

yi 2

min ;

i 1

Применение метода наименьших квадратов для расчёта параметров

уравнения регрессии рассмотрим на примере прямолинейной зависимости

€

y a bx .

Подставим аналитическое выражение прямолинейной функции

y a bx в функционал S:

€

2

S y a bx min .

Для нахождения минимума функции двух переменных а и b необходимо

взять частные производные по каждому параметру и приравнять их к нулю:

dS dS

0; 0.

da db

В результате получаем систему нормальных уравнений:

122

na b x y;

a x b x2 xy.

Решение системы уравнений даёт оценки параметров a и b:

x y

y b x xy

a ;b n ;

2

n x x2

В линейном уравнении регрессии параметр а показывает усреднённое

влияние на результативный признак неучтённых факторов. Формально а= y

при x =0.Интерпретация параметра а как среднего значения

результативного признака возможно лишь при условии, что среди

наблюдаемых значений факторного признака есть значения, равные или

близкие к 0. Параметр bв уравнении линейной регрессии называется

коэффициентом регрессии.Коэффициент регрессиипоказывает, на

сколько в среднем изменится значение результативного признака при

увеличении факторного на единицу собственного измерения.

Для получения качественного уравнения регрессии необходимо чтобы

данные наблюдения соответствовали следующим требованиям:

число наблюдений должно в 6-7 раз превышать число

рассчитываемых параметров при переменных x . Таким образом, искать

линейную регрессию имея менее 6 наблюдений не имеет смысла;

распределение единиц наблюдения по факторному признаку должно

быть однородным и подчиняться нормальному закону распределения.

Построение линейного уравнения регрессии рассмотрим на следующем

примере: имеются данные исследования влияния времени вулканизации на

сопротивление резины разрыву. Данные наблюдения приведены в таблице

8.4. На основе приведённых данных провести исследование влияния времени

вулканизации на качество резины.

Таблица 8.4

Данные о времени вулканизации и сопротивлению резины

№ Время Сопротивлен № Время Сопротивлен

анализ вулканизаци ие разрыву, анализ вулканизаци ие разрыву,

а и, мин кг/ см 2 а и, Кг/ см 2

мин

2 35 162 8 33 160

2 40 174 9 36 167

3 30 155 10 31 153

4 42 172 11 36 163

5 37 179 12 43 173

6 38 166 13 39 168

7 34 162 14 44 176

Результативный признак y – сопротивление резины, факторный x –

время вулканизации

123

Прежде чем подбирать соответствующую математическую функцию и

строить уравнение регрессии, необходимо проверить качество исходной

информации, уровень её вариации, нормальность распределения.

Для проверки совокупности на однородность по факторному

признаку, используется коэффициент вариации Vx 33% :

x

Vx 100%

x

Среднее время вулканизации по данным таблицы 8.5 составляет

518

x 37мин.

14

Таблица 8.5

Вспомогательная таблица для расчета x и х

№ п/п x x x ( x x) 2 №п/п x x x ( x x) 2

1 35 -2 4 8 33 -4 16

2 40 +3 9 9 36 -1 1

3 30 -7 49 10 31 -6 36

4 42 +5 25 11 36 -1 1

5 37 0 0 12 43 +6 36

6 38 +1 1 13 39 +2 4

7 34 -3 9 14 44 +7 49

- - - Итого 518 - 240

2

x x 240 4,1

X

17.14 4.1мин ; X

100 11,1% < 33%,- это

n 14 37

означает, что изучаемая совокупность однородна.

Проверка первичной информации на нормальность распределение

проводится на основе «правила 3-х сигм»:

x 1 37 4.1 39.2 41.1 ;

x 2 37 2 4.1 3 8.2 28.8 45.2 ;

x 3 37 3 4.1 37 12.3 24.7 49.3 .

Для проверки соответствия информации «правилу трех сигм» составим

следующую таблицу:

Таблица 8.6

Проверка данных наблюдения на нормальность распределения

Интервалы Число единиц Удельный вес Удельный вес

значений попадающих единиц, единиц, входящих

признака в интервал попавших в в интервал при

интервал, % нормальном

распределении,%

39,2 - 41,1 9 64,3 68,3

28,8 - 45,2 14 100,0 95,4

24,7 - 49,3 14 100,0 99,73

124

Первичная информация по факторному признаку не полностью

подчиняется закону нормального распределения, однако это не является

основанием для отказа использования корреляционно-регрессионного

анализа для описания связи между признаками.

Исключение из первичной информации аномальных значений факторного

признака, то есть значений, не попадающих в интервал x 3 (24,7< xi <49,3).

Таких аномальных значений в первичной информации нет.

Для установления факта наличия связи проведём аналитическую

группировку. Она выполняется как равноинтервальная. При m=4

xmax xmin 44 30

a 3.5 , принимаема = 4 мин.

m 4

Результаты группировки приведены в таблице 7.6:

Таблица 8.7

Исследование зависимости сопротивления резины от времени

вулканизации

Время Номера Число Сопротивление yi Среднее

№ вулканизац анализов анализо резины сопротивле

группы ии, мин , в в группе, yi ние резины,

попавши кг/ см 2

х в

группу

1 30-34 3,8,10 3 155,160,153 156,0

468

2 34-38 1,5,7,9,11 5 162,173,162,167,163 827 165,4

3 38-42 2,6,13 3 174,166,168 508 169,3

4 42-44 4,12,14 3 172,173,176 521 173,7

Итого 30-46 - 14 - 2324 -

Анализ таблицы 8.7 позволяет сделать следующий вывод: связь между

признаками существует, так как при увеличении времени вулканизации

возрастает сопротивление резины. Графически это выглядит следующим

образом:

125

180

175

170

165

160

155

150

32 36 40 44

Рис. 8.3. Эмпирическая линия регрессии сопротивления резины на время

вулканизации

Эмпирическая линия регрессии приближается к прямой.

Следовательно, можно считать, что между признаками имеется

прямолинейная связь вида y a bx .

€

Коэффициент регрессии b рассчитаем по формуле:

x* y

xy

b n ;

2

x x2

y b x

параметр a .

n

Для расчёта параметров составим вспомогательную таблицу:

126

Таблица 8.8

Расчёт параметров уравнения регрессии

№ xi yi x2 x y y2 €

yi €

yi - yi €

y y2

анализа

1 35 162 1225 5670 26244 163.0 -1.0 1

.0

2 40 174 1600 6960 30276 170.5 +3.5 1

2.25

3 30 155 900 4650 24025 155.5 -0.5 0

.25

4 42 172 1764 7224 29584 173.5 -1.5 2

.25

5 37 173 1369 6401 29929 166.0 +7.0 4

9.0

6 38 166 1444 6308 27556 167.5 -1.5 2

.25

7 162 1156 5508 26244 161.5 +0.5 0

34 .25

8 160 1089 5280 25600 160.0 0.0 0

33 .00

9 167 1296 6012 27889 164.5 +2.5 6

36 .25

10 153 961 4743 23409 157.0 -4.0 1

31 6.0

11 163 1296 5868 26569 164.5 -1.5 2

36 .25

12 73 1849 7439 29929 175.0 -2.0 4

43 .0

13 168 1521 6552 28224 169.0 -1.0 1

39 .0

14 176 1936 7744 30976 176.5 -0.5 0

44 .25

Итого 2324 19406 86359 386.454 - 9

518 2364,0 7.0

2324

518 86359

b 14 1.5 ;

5182 19.406

2324 1.5 518

a 110.5 .

14

Уравнение регрессии имеет вид y 110.5 1.5x . Параметры модели

€

могут быть интерпретированы следующим образом: коэффициент регрессии

b=1,5 показывает, что при увеличении времени вулканизации на 1 минуту

127

сопротивление резины увеличивается на 1,5 кг/ см 2 . Параметр a = 110,5

интерпретировать невозможно, так как среди наблюдаемых значений

факторного признака – времени вулканизации отсутствуют значения равные

или близкие к нулю.

Аналогичным образом на основе МНК рассчитываются параметры

нелинейной регрессии.

Для параболы второго порядка: y a bx cx 2 получаем систему

€

нормальных уравнений следующего вида:

y n a b x c x2

x y a x b x2 c x3

x2 y a x2 b x3 c x4

Для показательной функции y a b x предварительно необходимо

€

выполнить процедуру линеаризации, то есть привести функцию к линейному

виду. Это можно сделать, прологарифмировав обе части уравнения:

€

ln y ln a x ln b.

Введём следующие обозначения: ln y Y ; ln a A; ln b B. Тогда

€

уравнение регрессии принимает вид: Y=A+ х, то есть приводится к

линейному уравнению регрессии.