9.1.2 Начальные сведения о корреляции и регрессии
Для начала вспомним известный философский тезис, который уже не один раз упоминался в этих конспектах:
Объектами нашего внимания при изучении окружающего нас Мира
могут быть Вещи, Свойства и Отношения.
Сейчас и здесь наша задача заключается в том, чтобы «пристроить» в упомянутую в тезисе триаду корреляцию и регрессию.
Словом корреляция в общем случае обозначают общее (одно на всех) свойство двух и более процессов (систем, ситуаций) – свойство взаимной согласованности дейст-вий, событий и операций (и характеризующих их параметров), образующих каждый из этих процессов. Такая согласованность обнаруживается, например, при взаимодействии двух систем, когда под влиянием одной системы изменяются параметры другой, а связь между параметрами разных систем оказывается представленной математическим соотношением. Существуют два способа описания взаимодействий аналитический и статистический.
Первый способ применяется при описании детерминированных процессов взаимо-действия систем с чётко и однозначно определёнными параметрами и предсказуемым повелением. Часто такие описания становятся Закономи природы. Аналитическими соотно-шениями выглядят Закон всемирного тяготения, Закон Ома и др.
Второй способ описании применяется при попытках формализовать отношения (взаимодействия) систем, в поведении которых существенную роль играет неопределён-ность, а взаимодействие таких систем оказывается случайным (стохастическим) процессом. Инструментами, которые используются при статистическом описании таких взаимодействий являются понятия теории вероятности и математической статистики: вероятность, представленные в предыдущем параграфе случайные величины, корреляция и регрессия.
Корреляция – свойство отношения двух и более объектов, в поведении которых существенную роль играет неопределённость. В конкретных случаях говорят о взаимной обусловленности, о взаимной зависимости, о синхронности, синфазности или когерент-ности процессов, В таких случаях говорят о коррелированности процессов. Коррели-рованность разных процессов проявляется (наблюдается) в большей или меньшей согласованности изменений параметров, которыми эти процессы характеризуются.
К
орреляция,
как конкретное свойство, имеет свою
меру
– может оцениваться коли-чественно.
Точная количественная мера коррелированности
различных процессов опирается на
математические соотношения, связывающие
между
собой характеристики разных
(рассматриваемых)
процессов в одной системе или процессов
в разных
(обоих
рассматриваемых) системах. Она (мера)
называется коэффициентом
корреляции, имеет
своё обозначение
(Rk),
выглядит дробью (или в процентах) и может
принять любые значение из открытого
интервала ±1
(–1
Rk
+1).
Следовательно,
корреляция может быть
и положительной и отрицательной.
Близкие к единице значения корреляции характеризуют высокую согласованность процессов в исследуемых системах.
Близкие к нулю значения корреляции характеризуют почти независимость, относительную «самостоятельность» (со слабым намёком на взаимную согласованность) процессов в исследуемых системах.
Близкие к минус единице значения корреляции характеризуют высокую согласо-ванность процессов в исследуемых системах, но противоположность тенденций в изменении их индивидуальных характеристик (что в одной системе растёт, то в другой – уменьшается).
Последние три абзаца иллюстрируются тремя картинками (см. ниже и на следую-щем листе). На них в виде) уже представленных выше) корреляционных полей, отображены три одинаковые по характеру и почти одинаковые по форме статистические зависимости между случайными величинами y и x. Эти картинки иллюстрируют тот вид статистической взаимосвязи, которая называется линейной регрессией случайной величины x на случайную величину y. Очевидно, что все три картинки иллюстрируют одну и той же статистическую зависимость, которая на этих картинках «описывается» одной и ту же пунктирной линией. Она называется линией регрессии.
И всё же эти три картинки – разные, что выражено словами-определениями (подчёр-кнуиты) в названии каждой из них.
Корреляционное поле при «слабой» корреляции
Ось откликов
y
x
Ось уровней
Рис. 9.5
Не отвечая впрямую на вопрос, «что такое корреляция», эти картинки показывают, что она бывает разной:
- «слабой» (низкой, едва ощутимой, «маленькой»);
- «средней» и
- «сильной» (большой). И ещё: разная по силе корреляция может
сопровождаться одинаковой регрессией.
Корреляционное поле
при «средней»
корреляции
Ось откликов
y
x
Ось
уровней
Рис. 9.6
Корреляционное поле при «сильной» корреляции
Ось откликов
y
x
Ось уровней
Рис. 9.7
А теперь ещё две картинки.
Ось откликов y
сь откликов
y
mY
= –
bx
mY =+bx
Ось уровней x
Ось уровней
x
Рис. 9.8 Рис. 9.9
На каждой из них видна регрессия (показанная там пунктирными линиями регрес
сии) и приведена (подчёркнута) математическая формула mY = f(x), этой зависимости.
На этих картинках показаны разные регрессии и одинаковая (по силе) корреляция. Это – правильные картинки. Они показывают, что знаки у коэффициентов b в уравнениях линий регрессии совпадаю со знаком показанной на каждой картинке корреляции. Справа, где отклик растёт с ростом фактора, она положительна, а слева, где рост фактора вызывает уменьшение отклика – отрицательна.
Итак, мы выявили внешние проявления корреляция и регрессии и ещё обнаружили их взаимосвязь. Но не очень простые вопросы «что такое корреляция?» и «что такое регрессия?» ) по их внутренней сути) остаются пока без чётких окончательных ответов.
Поэтому продолжим рассматривать картинки – те три картинки, которые демонст-рировали нам разную «силу» корреляции. На них были показаны три одинаковые регрессии при трёх разных корреляциях. Мы уже убедились, что она бывает «слабой» «средней» и «сильной», положительной и отрицательной. Более того, мы убедились, что изменения корреляции (это она – разная на разных картинках), со всей очевидностью отражаются не только на форме поля, но и характере регрессии (она определяет знаки уравнения линии регрессии).
При «слабой» корреляции поле рассеянно и линия регрессии едва угадывается. Регрессия не очевидна. По мере возрастания «силы» корреляции, корреляционное поле начинает концентрироваться около линии регрессии, и она проявляется чётче. При «сильной» корреляции поле почти целиком оказывается «втянутым» в линию регрессии.
Если теперь вспомнить, что корреляционное поле это множество точек (возможных значений отклика y), образующих собой линию, поверхность или «тело» регрессии (иногда – большой размерности), что их (линии, поверхности или «тела») уравнения и есть уравнения регрессии, то корреляция выглядит свойством этой линии (поверхности или «тела») «притягивать к себе» (будто они намагничены) все точки, образующие поле. И этот факт полностью объясняет название поля, форму и структуру которого при любой регрессии «делает» корреляция. Например, при параболической регрессии в системе с одним фактором на трех картинках, подобных тем, что приведены выше (здесь их нет), пунктирная линия регрессии выглядела бы параболами, а все три «облака» – соответствующим образом деформированными эллипсами (этакими «банано-подобными» образованиями), оси которых изогнуты по параболе.
И последняя в этом параграфе картинка. На ней через множество точек-откликов, которое мы называли полем корреляции через точки его (поля) максимальной плотности проведена пунктирная линия (y = Const), которую мы выше называли линией регрессии.
Дисперсионное поле
Ось откликов
y
= Const
y
x
{x} Ось уровней
Рис. 9.10
Соотношение y = Const означает, что x никак не влияет на y, следовательно, никакой регрессии здесь нет! И потому эта линия идёт строго параллельно оси факторов, (отклик не изменяется, система не реагирует на изменение уровня воздействующего на неё фактора). Здесь нет ни функциональной, ни статистической связи. И корреляции здесь нет (Rk= 0) Это и объясняет, почему в названии этой картинки нет слова «корреляция». Логика здесь такая. Нулевое значение меры свойства (Rk= 0) означает, что этого свойства (корреляции) здесь нет. В то же время, почти все точки корреляционного поля на этой картинке «легли» на линию регрессии, что бывает при сильной корреляции, которой здесь нет! Следовательно, и корреляционного поля, как такового, и регрессии здесь нет, а линия (y = Const), «изображает собой» частный случай чёткой аналитической за-висимости отклика y от уровня воздействующего на неё фактора x. Если при этом на экспериментальной картинке Вы наблюдаете не линию, а вытянутое «облачко», то это – «размытая» линия, а её «размытость» обусловлена не корреляцией, а дисперсией отклика, вызванной погрешностью измерений. Следовательно, на этой картинке мы видим экспериментальное дисперсионное поле.
Заканчивая параграф, кратко сформулируем итог всех рассуждений этого параграфа.
Термином регрессия обозначают сущность одной из форм отношений, а именно, сущность статистической связи (систем, процессов и т.п.), которая (такая связь) отображается выявляемой в ходе эксперимента линией регрессии. Мерой регрессии являются коэффициенты в уравнении соответствующей линии регрессии.
Регрессия является следствием особого свойства, присущего отношениям систем и явлений, в поведении которых существенную роль играет неопределённость и потому характеризующие их (систем и явлений) параметры оказываются случайными величинами. Свойство это обозначается термином корреляция, а его мера называется
коэффициентом корреляции.