4.1 Общее понятие корреляционно-регрессионного анализа

Корреляционно-регрессионный анализ является одним из значимых методов построения математических моделей в экономике. Проблема регрессии характерна тем, что о распределениях изучаемых величин нет достаточной информации. Цель корреляционно-регрессионного анализа- определить общий вид математической модели в виде уравнения регрессии, рассчитать статистические оценки неизвестных параметров, входящих в это уравнение, и проверить статистические гипотезы о зависимости функции от ее аргументов.

Первоначально термин «регрессия» был употреблен Ф. Гальтоном (1886) в теории наследственности, затем его теоретические основы были разработаны К. Пирсоном , Р. Фишером, М. Бартлеттом и др. Значительным вкладом в регрессионный анализ явилась разработка метода наименьших квадратов К. Гауссом (1795), А. Лежандром (1806), А. Марковым (1900) и А. Колмогоровым.

Применение статистических методов измерения связей между отдельными факторами особенно необходимо при исследовании экономических процессов, где экспериментальное устранение влияния побочных факторов затруднено или невозможно.

Известны два типа связей: функциональные и регрессионные. Если функциональные связи точно выражаются аналитическими уравнениями, то регрессионные связи выражаются уравнениями лишь приближено. В общем случае можно сказать, что связь между функцией и аргументами будет тогда функциональной, когда будут точно учтены все аргументы, определяющие значение функции, что в экономических моделях весьма проблематично.

Уравнение регрессии составляется исследователем на основе характера связи между функцией и аргументами. Вопрос о форме связи решается, как правило, поэтапно.

Вначале рассматривается линейная форма связи вида

Y=b₀+b₁x₁+b₂x₂+…+b_nx_n ,

Где x₁-факторы, i=1,2,…,n, так как форма связи часто встречается на практике и для нее разработан хороший математический аппарат.

При этом могут решаться следующие задачи:

• установление точности определения коэффициентов уравнения регрессии b_i в виде значений дисперсий S²(b_i)или величины доверительных интервалов;

• установление значимости коэффициентов b_i;

• проверка адекватности установленной формы связи экспериментальным данным.

При установлении тесноты связи между Yи X решается задача установления строгости соблюдения функциональной зависимости между изменениями Yи X. Для оценки тесноты связи между случайными переменными величинами используются показатели:

а) в случае линейной формы связи:

• коэффициент парной корреляции r_ух или r_xy,характеризующий строгость соблюдения пропорциональности, т.е. близость исследуемой формы связи к линейной;

• коэффициент частной корреляции характеризующий тесноту связи между изучаемыми переменными при условии, что влияние остальных факторов исключается;

• коэффициент множественной корреляции R_yXiX...._Xt , характеризующий суммарное влияние всех факторов на величину Y;

б) в случае нелинейной формы связи:

• корреляционное отношение г, которое является характеристикой того, насколько строго соблюдается функциональная связь между исследуемыми переменными. Это!' показатель применим и для оценки тесноты связи в случае линейной формы связи. В этом случае он равен абсолютному значению коэффициента парной корреляции:

• множественное корреляционное отношениеR_yXiX...._Xt , которое является, характеристикой тесноты связи между Y и X.

Аппарат корреляционно-регрессионного анализа используется в двух направлениях:

• для проведения статистического анализа результатов наблюдений пассивных экспериментов (экспериментов, в которых независимые переменные х, не могут изменяться экспериментатором, т.е. не регулируются). В результате такого анализа решение вопроса, о виде формы связи не является окончательным, т.е. можно принять в качестве математической модели процесса большое число уравнений регрессии, удовлетворяющих полученным экспериментальным данным;

• совместно с методом наименьших квадратов для планирования статистических экспериментов и анализа результатов. В этом случае планирование экспериментов осуществляется в соответствии с принятым видом уравнения связи У и X.

В соответствии с числом учитываемых независимых переменных характером связи между Yи X различают:

а) по количеству исследуемых переменных:

• парный корреляционно-регрессионный анализ;

• множественный корреляционно-регрессионный анализ;

б) в зависимости от формы связи:

• линейный корреляционно-регрессионный анализ;

• нелинейный корреляционно-регрессионный анализ.

Широкое распространение в практике математического моделирования получило уравнение регрессии вида

Y = f(x),

где х - величина, рассматриваемая как случайная независимая переменная;

Y - случайная зависимая величина.

При линейной форме связи эту зависимость можно выразить уравнением прямой

Y= b₀ + b₁x₁

Для ее построения требуется провести п экспериментов, в каждом из которых должна фиксироваться пара значений ( ; ). Результаты эксперимента представляются либо в виде таблицы, либо в визе трафика.

Значение фактора			……		….
Значение фактора			……		…..

Рассматривая экспериментальные точки (x_i; y_i) прямоугольной системе координат, мы видим, что в случае а (рис. 4.1, а) часть точек лежит на прямой у = b₀ + b₁x,часть – ниже и выше ее. В этом случае для построения модели зависимости Y от X можно использовать линейное уравнение регрессии, в случае б(рис 4.1, б) – нелинейное уравнение, а в случае в (рис. 4.1, в)применение регрессионного анализа вообще проблематично.

Рис. 4.1. График результатов эксперимента.

Построение регрессивной модели. Метод наимельших квадратов (МНК).

Рассмотрим случай (рис. 4.1, ). Здесь через совокупность точек проведена прямая , которая показывает на существованиии зависимости между X и Y. Наша задача в том, чтобы вычислить коэффициенты и , определяющие положение прямой относительно всех экспериминтальных точек таким образом, чтобы сумма квадратов отклонений между значениями , полученными при эксперименте, и значениями при , подставленными в предлагаемое (гипотетическое) уравнение, было минимальным. Для этого используется метод наименьших квадратов (МНК). Пусть разность между экспериментальным и гипотетическим значением при равна , или При изменении величин и величина также изменится.Возьмем функцию , являющуюся функцией двух переменных и . Наилучшей прямой, описывающей зависимость Yи X для экспериментальных данных,будет такая, где значение . Для нахождения минимума возьмем частные произвольные от по и и приравниваем их к нулю: (4.1)

Решая эту систему ,называемую системой нормальных уравнений МНК, получим (4.2)

(4.3)

Коэффициент b₀ есть постояннная уравнения, которая определятся при x=0, a b₁ определяет угол наклона прямой регрессии Y к оси OX. В качестве меры зависимости между случайными величинами используется коэффициент корреляции, определяемый по формуле:

(4.4)

Коэффициент корреляции всегда находится в пределах от -1 до 1: -1 . Если случайные величины X и Y независимы, то r=0, если связь между Y и X функциональна, то . В качестве меры адекватности регрессионной модели статистическим данным часто используют коэффициент детерминации. (4.5)

где – расчетное (теориетическое) значение величины для ,вычисленное по уравнению регрессии (знак «^» над обозначает, что уравнение получено МНК); -среднее значение ; ; -значение в -м опыте, Чем больше значение R², тем выше степень адекватности уравнения регрессии опытным данным. Для уравнения регрессии вида многих переменных результаты -го опыта записываются в виде где =1 при всех ; - общее число опытов в эксперименте. Для определения коэффициентов уравнения регрессии может быть использован МНК, который минимизирует сумму квадратов регрессионых остатков:

Если представить результаты эксперимента в матричной форме как Y=XB, где

; ; ,

то можно записать:

(4.6) (индекс Т означает транспонирование).

Исходя их условий минимизации , (4.7)

откуда . (4.8)

Следовательно, оценка МНК есть такая, при которой коэффициенты уравнения регрессии равны: . (4.9)

где индекс -1 означает обратную матрицу.

Коэффициент детерминации (скорректированный)

. (4.10)

Оценка меры автокорреляции случайной величины как правило, производится с помощью статистики Дарбина- Уотсона:

. (4.11) При значении , близком к 2,0, говорят, что автокорреляция отсутствует (что желательно).

Пример 4.1. В результате эксперимента зафиксированы пары значений привеленные в табл. 4.1. Построить уравнение регрессии вида Таблица 4.1.

	1	3	2	5	2	5	6	2	3	6	4	1	3	4	6	5	1	4
	3	5	3	4	3	6	7	2	3	8	6	2	4	4	8	6	1	5

Решение. Для вычисления коэффициентов уравнения регрессии составляем статистическую таблицу 4.2. По вычисленным суммам определяем: , тогда уравнение регрессии будет иметь вид Таблица 4.2.

Номер опыта
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Сумма	1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 63	3 2 1 2 3 3 4 3 5 4 5 6 4 6 6 7 8 8 80	3 2 1 4 6 6 12 9 15 16 20 24 20 30 30 42 48 48 336	1 1 1 4 4 4 9 9 9 16 16 16 25 25 25 36 36 36 273	9 4 1 4 9 9 16 9 25 16 25 36 16 36 36 49 64 64 428

Определим коэффициент корреляции отсюда следует, что Y и X тесно связаны друг с другом, так как коэффициент корреляции близок к единице.

При нелинейной форме связи могут быть оспользованы два подхода: 1) когда нелинейная форма связи представляется в виде линеаризованной функции; 2) когда используется итерационный нелинейный метод наименьших квадратов. В первом случае исследователь сначала выбирает форму нелинейной связи,затем ее линеаризует, преобразую члены уравнения регрессии,например, как показано в таблице 4.3.

Функции	Линеаризующие преобразования
	Преобразования переменных		Преобразования коэффициентов

Затем используется метод МНК для линеаризованного уравнения, откуда определяются коэффициенты уравнения регрессии. Полученное уравнение затем вновь преобразуется в нелинейную форму.

Пример 4.2.В результате многолетних исследований величины прибыли на рубль затрат (Y) в зависимости от вложенного капитала (X) получены данные:

Величина вложенного капитала X, млн. руб.	1	2	3	4	5	6	7
Величина прибыли Y, руб. на 1 руб. затрат	0,5	1,0	1,4	1,7	1,8	1,9	2,0

Найти зависимость между величиной прибыли и величиной вложенного капитала. Решение: предполагаемая зависимость Y от X имеет вид

Линеаризуем уравнение при ; ; и , тогда . Составляем статистическую таблицу:

x
1		0,5	-0,3010	-0,3010	1
2		1,0	0,0000	0,0000	4
3		1,4	0,1461	0,4383	9
4			0,2304	0,9216	16
5		1,8	0,2553	1,2765	25
6		1,9	0,2788	1,6728	36
7		2,0	0,3010	2,1070	49
	10,3		0,9106	6,1152	140

Составляем систему нормальных уравнений МНК: или Откуда после преобразований получим: a=0,6; b=1,226. Следовательно, уравнение регрессии для зависимости величины прибыли от вложенного капитала будет иметь вид .

В таблице 4.4 приведены нормальные уравнения МНК для некоторых функций. Таблица 4.4.

Функции	Нормальные уравнения

Рассмотрим второй случай- метод наименьших квадратов для нелинейных форм. Пусть Y-целевая функция, а набор ее наблюдений; переменные факторы. Наблюдение представляет из себя вектор Необходимо целевую функцию Y выразить через вектор X посредством функции , вид которой известен, однако неизвестны некоторые ее параметры Тогда для можно записать: где - отклонение(ошибка). Если исключить параметры , то функция запишется в виде (4.12) в которую входят только те параметры, которые необходимо найти МНК. Минимизируя (4.13) и используя метод Маркварда, введем векторы ; ; ; . Сформулируйте задачу в виде: найти такое, что при целевая функция (сумма квадратов остатков) минимизируется. Приближенное значение , получаемое на шаге итеративного процесса, и последующее приближенное значение связаны между собой вектором поправки т.е. . (4.14) Формула вектора поправки согласно условию минимизации выводится из решения системы линейных уравнений ( 4.15) откуда (4.16) где А- первая частная производная от F, определяемая как матрица Якоби: при (4.17) Это формулы итерации по методу Ньютона –Гаусса. Если степень нелинейности высока, а стартовое значение далеко отстоет от минимизирующего значения,то при их использовании велика вероятность «раскачки» и расходимисти процесса. Левенберг и Марквардт в процедуре Ньютона-Гаусса продложили искать корректирующий вектор из уравнения (4.18) где I-еденичная матрица; некоторая величина, называемая числом Марквардта. Тогда (4.19) При вычислениях рекомендуется за начальное значение принимать затем на каждом шаге увеличивать в десять раз, до тех пор,пока S не начнет уменьшаться.