Регрессионный анализ

Теория корреляции – раздел, разрабатывающий методы установления типа зависимости (функциональной, статистической или корреляционной) между величинами, каждая из которых испытывает изменения под действием случайных факторов.

В регрессионном анализе рассматривается односторонняя зависимость случайной зависимой переменной от одной (или нескольких) неслучайной независимой (объясняющей) переменной.

Задачами регрессионного анализа являются:

1) установление формы зависимости между величинами;

2) оценка значений параметров и типа этой зависимости.

Определение. Функциональной называют зависимость, при которой изменение независимой переменной вызывает единственно возможное изменение зависимой переменной.

Определение. Статистической называют зависимость, при которой изменение независимой переменной вызывает изменение распределения зависимой переменной.

Пусть некоторому значению величины соответствует несколько значений величины .

Определение. Условным средним называют среднее арифметическое значений величины , соответствующих значению .

Определение. Корреляционной называют функциональную зависимость условной средней от : .

Теория корреляции решает две основных задачи:

1) установление формулы корреляционной связи;

2) оценка тесноты (силы) корреляционной связи.

Определение. Уравнение называют уравнением регрессии на , функцию называют регрессией на , а ее график – линией (поверхностью) регрессии на .

Классификация регрессионных моделей

Определение. Если – одномерная случайная величина, то регрессию называют парной.

Определение. Если – многомерная случайная величина, то регрессию называют множественной.

Определение. Если (29.1) является линейной функцией , то регрессию на называют линейной.

Определение. Если (29.1) является нелинейной функцией, то регрессию  на называют нелинейной.

Этапы построения регрессионной модели

1. Спецификация модели (определение вида формулы ).

2. Определение значений параметров (коэффициентов) модели.

3. Статистический анализ модели и ее параметров.

4. Проверка гипотез относительно случайных составляющих.

5. Построение доверительных интервалов для прогнозируемых значений.

Определение. Условным средним называют среднее арифметическое значений , соответствующих значению .

Определение. Корреляционной зависимостью от называют функциональную зависимость условной средней от :

Определение. Уравнение ) называют уравнением регрессии на , функцию называют регрессией на , а ее график – линией регрессии на .

Определение значений параметров уравнения парной линейной регрессии

Определение. Парной линейной регрессионной моделью на называют уравнение

, где – случайная составляющая.

Метод поиска значений и , доставляющих наименьшее значение функции , основан на алгоритме поиска локального экстремума выпуклой функции двух переменных и называется методом наименьших квадратов (МНК). В результате его применения получены формулы для вычисления значений и через наблюдаемые значения , : , ,

где , – выборочные средние по и по ,

, – выборочные средние квадратичные отклонения по и по ,

, – выборочные дисперсии по и ,

, , , – выборочная ковариация.

Определение. Коэффициент называют выборочным коэффициентом регрессии на .

Выборочный коэффициент регрессии характеризует направление линейной связи:

– если , то связь является положительной (с увеличением величина увеличивается и, наоборот, с увеличением увеличивается и );

– если же , то связь является отрицательной (с увеличением величина уменьшается и, наоборот, с увеличением уменьшается и ).

Определение. Парной линейной регрессионной моделью на называют уравнение , где – случайная составляющая, , .

Определение. Коэффициент называют выборочным коэффициентом регрессии на .

Определение. Величину называют выборочным коэффициентом корреляции признаков и .

Выборочный коэффициент корреляции и выборочный коэффициент регрессии на связаны соотношением . Коэффициент также показывает направление связи и служит для оценки тесноты линейной связи (если , то линейная связь является положительной; если же , то линейная связь является отрицательной).

Свойства выборочного коэффициента корреляции

1. Абсолютная величина выборочного коэффициента корреляции не превосходит единицы: .

2. Если и выборочные линии регрессии – прямые, то и не связаны линейной корреляционной зависимостью.

Замечание. Если , то признаки и могут быть связаны нелинейной корреляционной или функциональной зависимостью или не связаны совсем.

3. Если , то наблюдаемые значения признаков связаны линейной функциональной зависимостью.

4. С возрастанием абсолютной величины выборочного коэффициента корреляции линейная корреляционная зависимость становится более тесной и при переходит в функциональную зависимость.

Замечание. Выборочный коэффициент корреляции характеризует тесноту (силу) линейной связи между признаками и в выборке: чем ближе к 1, тем связь сильнее; чем ближе к 0, тем связь слабее. Степень тесноты линейной связи оценивают с помощью шкалы Чеддока:

	0	(0; 0,3]	(0,3; 0,5]	(0,5; 0,7]	(0,7; 0,9]	(0,9; 1]	1
Теснота линейной связи	линейной связи нет	слабая	умеренная	заметная	сильная	весьма сильная	функциональная

Замечание. Чтобы выдвинуть гипотезу о существовании связи между признаками и всей генеральной совокупности, вычисляют значение . Если , то линейная связь между случайными величинами и достаточно вероятна (выдвижение гипотезы обоснованно). Если , то линейная связь между случайными величинами и маловероятна.

Алгоритм построения уравнений парной линейной регрессии

1) В системе координат построить диаграмму рассеяния признаков и .

2) По исходной таблице значений и вычислить , , , , , , , , .

3) Составить уравнения обеих линий регрессии и изобразить графики этих уравнений на диаграмме рассеяния.

4) Оценить тесноту и направление линейной связи.

5) Вычислить значение . Если , то найти доверительный интервал для генерального и сделать вывод о возможности выдвинуть гипотезу о существовании линейной связи у всей генеральной совокупности.