2.2 Метод корреляционного анализа

В практике часто применяются строгие функциональные зависимости, сущность которых заключается в том, что какая-либо переменная определяется как однозначная функция одной или нескольких переменных. В ряде случаев между параметром и входными параметрами существует зависимость другого рода, называемая стохастической (вероятностной), когда с изменением , меняется распределение . Стохастические зависимости изучаются методами корреляционного и регрессионного анализов. Один из важнейших показателей, оценивающих степень стохастической связи, – коэффициент корреляции. С помощью корреляционного анализа можно определить пределы, в которых с принятой вероятностью будет содержаться исследуемая величина , если другие, связанные с ней величины , получают определенные значения. Отыскание количественных зависимостей, характеризующих стохастические связи, является задачей регрессионного анализа. Зависимость средних значений от называется регрессией. Точное уравнение регрессии находят, зная истинные значения средних для всех допустимых значений . Поскольку в практических исследованиях отдельные значения не могут быть установлены точно, а допускают лишь приближенные оценки, связь между и , выражают уравнением приближенной регрессии, оценивая при этом вероятность такого приближения.

Рассмотрим связь между двумя переменными. Простейшая форма связи между двумя переменными — линейная зависимость. Предположим, имеется определенное число пар наблюдений где – зависимая переменная или отклик (исследуемый выходной параметр системы) и - независимая переменная (или входной параметр системы). По этим парам наблюдений можно построить прямую в виде

(2.18)

где обозначает предсказываемое уравнением регрессии значение отклика. Значения коэффициентов и можно найти методом наименьших квадратов

(2.19)

Получение уравнения регрессии – это лишь первый этап исследования связи между переменными, второй этап – его всесторонний анализ. При этом широко используются методы дисперсионного анализа. Одним из вопросов анализа является оценка значимости уравнения регрессии. Рассмотрим тождество

(2.20)

Возведя обе его части в квадрат и просуммировав для всех , получим после несложных преобразований

(2.21)

или, записав иначе,

(2.22)

или

(2.23)

где - сумма квадратов отклонений фактических значений отклика от общего среднего с числом степеней свободы; – сумма квадратов отклонений значений отклика, предсказываемых уравнением регрессии (2.18), от общего среднего (сумма квадратов, связанная с влиянием рассматриваемого фактора ); – остаточная сумма квадратов (сумма квадратов, обусловленная влиянием неучтенных, случайных факторов). Сумме квадратов соответствует число степеней свободы так как для вычисления этой суммы используется лишь одна функция от т. е. поскольку Сумма квадратов имеет число степеней свободы Значимость уравнения регрессии, его пригодность для целей предсказания зависит от того, какая часть суммы квадратов приходится на и какая соответствует , и может быть установлена с помощью –критерия Фишера (табл. 2.1).

Уравнение регрессии значимо (на уровне значимости ), если

(2.24)

Суммы квадратов (табл.1) рекомендуется вычислять по следующим уравнениям:

(2.25)

или

Таблица 2.1. Результаты дисперсионного анализа регрессионной зависимости между двумя переменными

Источник изменчиво­сти	Число степе­ней сво­боды	Сумма квадратов	Средний квадрат	-отношение
Регрессия	1
Остаток				­­­­­­­­­­­­ _­­­­­
Сумма			_	_

Отношение , называемое коэффициентом детерминации (квадрат коэффициента корреляции), оценивает долю вариации отклика ,обусловленную регрессией, связанной с влиянием фактора . Коэффициент корреляции , называемый в случае исследования связи между двумя переменными коэффициентами парной корреляции, вычисляется в виде

(2.26)

или

(2.27)

где и соответственно средние квадратические откло­нения независимой и зависимой переменных. Нетрудно также получить уравнение связи коэффициента корреляции с угловым коэффициентом в уравнении регрессии . Коэффициент корреляции может находиться в следующих пределах: . Когда коэффициент корреляции положительный, это значит, что с ростом значений увеличивается . Если коэффициент корреляции отрицательный, с ростом значений уменьшается . Если окажется, что найденный коэффициент корреляции удовлетворяет неравенству

(2.28)

то его следует признать значимым (на уровне значимости ). Квантили –распределения приведены в табл. П8.

Более общая форма дисперсионного анализа связи между двумя переменными, иллюстрирующая проверку значимости коэффициентов регрессии и с помощью – критерия, представлена в табл. 2.2. Очевидно, сумма квадратов (табл. 2.1) равна: и . Проверка значимости коэффициентов и возможна также и с помощью критерия Стьюдента .

В большинстве случаев нас интересуют доверительные интервалы для новых наблюдений (предположим - среднее из новых наблюдений, может быть равно 1, тогда - единичное новое наблюдение) при некоторых фиксированных значениях .

Таблица 2.2. Вариант представления результатов дисперсионного анализа регрессионной зависимости между двумя переменными

Источ­ник изменчи-вости	Число степе-ней свобо-ды	Сумма квадратов	Средний квадрат	–отношение
Регрес­сия	1
Регрес-сия	1
Остаток				_
Сумма			_	_

Доверительный интервал для таких наблюдений относительно значения (значения, предсказанного уравнением регрессии при )

(2.29)

где

Значимость уравнения регрессии показывает, что его можно использовать для предсказания значений отклика , но еще не означает, что оно адекватно (т. е. достаточно правильно) отражает наблюдаемый разброс . Если уравнение регрессии адекватно, то так называемые остатки представляют собой случайные отклонения и принадлежат некоторому нормальному распределению. В случае неадекватности уравнения регрессии остатки содержат случайную и систематическую составляющие и закон их распределения отличается от нормального. Для определения адекватности модели необходимо остаточный средний квадрат разложить на составляющие, соответствующие чистой ошибке (случайная составляющая) и неадекватности (систематическая составляющая). Для этой цели ставят опыты с повторениями, причем под повторениями опытов понимают не повторные измерения исследуемого признака при значениях , а создание заново условий эксперимента (заново установленных значений ) и проведение при этих условиях измерений отклика . Величина дисперсии, связанная с чистой ошибкой, оценивается следующим образом. Предположим, имеется: повторных наблюдений при повторных наблюдений при ...; повторных наблюдений при . Тогда средний квадрат для чистой ошибки равен сумме квадратов для чистой ошибки , разделенной на соответствующее число степеней свободы:

(2.30)

В случае двух повторных наблюдений в точке

(2.31)

с 1-й степенью свободы. Если отношение

(2.32)

то неадекватность незначима, т. е. уравнение регрессии является адекватным (табл. 2.3). Cуммы квадратов (табл.) рекомендуется вычислять по следующим уравнениям (2.33).

(2.33)

При анализе линейной регрессии типичны следующие ситуации. Линейная регрессия значима и адекватна — связь между зависимой и независимой переменной выражается уравнением (2.18). Линейная регрессия незначима, но адекватна – изменение значения не приводит к изменению величины (во всех случаях ). Линейная регрессия значима, но неадекватна; линейная регрессия незначима и неадекватна – в этих случаях необходимо исследовать уравнение связи между и в виде

(2.34)

Параметры такой криволинейной зависимости находят из системы нормальных уравнений

(2.35)

Таблица 2.3. Результаты дисперсионного анализа оценки значимости и адекватности уравнения регресии

Источник изменчивости	Число степеней свободы	Сумма квадратов	Средний квадрат	– отношение
Сумма			_	_
Регрессия
Остаток				_
Неадекватность
Чистая ошибка				_

П р и м е ч а н и е. Точки при вместо индекса означают, что по данному индексу проведено осреднение значений .

Правильность решения системы уравнений проверяем по уравнению

(2.36)

где

Значимость уравнения регрессии оценивается так же, как и при линейной регрессии. Сумма квадратов вычисляется как

(2.37)

Такая сумма имеет 2 степени свободы. Остаточная сумма квадратов имеет степеней свободы. Если для каждого имеется повторений, то

(2.38)

Адекватность проверяется так же, как и в случае линейной регрессии. Теснота связи при криволинейной зависимости оценивается с помощью индекса корреляции . Значение индекса корреляции изменяется в пределах от 0 до 1. Сравнение индекса корреляции с коэффициентом парной корреляции позволяет оценить, какая форма связи точнее отражает зависимость между изучаемыми переменными: линейная или криволинейная.

Представляет интерес также форма связи между и в виде степенной зависимости логарифмированием приводящаяся к линейному виду или .