06_Системы_Сл_Вел_Часть_3_2005

Свойства 1 – 5 следуют из определения ковариации, свойство 6 – из определения независимости. Докажем свойство 7, для чего применим свойство 5 к

зывают некоррелированными. Из независимости следует некоррелированность, обратное утверждение неверно, из некоррелированности независи-

мость не следует.

Из определения ковариации видно, что она описывает и степень рассеяния с.в. X и Y , и связь между этими величинами. Для того, чтобы исключить влияние рассеяния и оценить только степень зависимости, обычно переходят

корреляции между X и Y , при rXY < 0 – об отрицательной корреляции.

Как видно, компоненты скоррелированы слабо, так что если зависимость и есть, то она далека от линейной.

6.3.2. Числовые характеристики условных распределений

Для условных распределений компонент двумерной случайной величины также можно ввести числовые характеристики. Наиболее важными являются условные математические ожидания.

О Условное математическим ожидание случайной величины X при

Y = y , где y – одно из возможных значений с.в. Y , называется (для дискретной с.в.) сумма произведений значений с.в. X на их условные вероятности:

k

M (X Y = y)= ∑xi p (xi y);

i=1

для непрерывной с.в.

∞

M (X Y = y)= ∫ xf (x y)dx ,

−∞

где f (x y) – условная плотность распределения.

Условное математическим ожидание M (X y) является функцией y :

M (X y)=ϕ (y),

которую называют функцией регрессии X на Y .

Аналогично определяются условное математическим ожидание M (Y x) и функция регрессии Y на X M (Y x)=ψ (x).

6.3.3. Линейная регрессия. Прямые линии среднеквадратической регрессии

Рассмотрим двумерную случайную величину (X ,Y ), где X и Y – зави-

симые случайные величины и представим одну из величин как функцию другой. Подобное представление в общем случае может быть только приближенным. Ограничимся простейшим случаем линейной зависимости:

Y g (X )=αX + β ,

где α и β – параметры, подлежащие определению. Чаще всего для этого используется метод наименьших квадратов.

Функция g (X )=αX + β называется наилучшим приближением Y в смысле метода наименьших квадратов (МНК), если математическое ожи-

дание M Y − g (X ) 2 принимает наименьшее возможное значение; функцию g (X ) называют среднеквадратической регрессией Y на X .

Используя МНК, найдем коэффициенты уравнения регрессии. Рассмотрим математическое ожидание квадрата отклонения

M Y − g (X ) 2 = M [Y −αX − β]2 = F (α,β ),

которое зависит от неизвестных параметров α и β . Обозначим M (X )= mx ,

M (Y )= my , σx = D (X ), σy = D (Y ), r = µxy – коэффициент корреляции

σxσy

величин X и Y .

F (α,β )= M (Y −my )−α (X −mx )+(my −αmx − β ) 2 =

= M (Y −my )2 +α2 M (X −mx )2 +(my −αmx − β )2 −2αM (Y −my )(X −mx ) +

+2 (my −αmx − β ) M (Y −my ) −2a (my −αmx − β ) M (X −mx ) = =σy2 +α2σx2 −2ασxσy r +(my −αmx − β )2 .

Исследуем F (α,β ) на экстремум.

Коэффициент α = r σy называется коэффициентом регрессии Y на X , а

σx

прямую y = my + r σy (x −mx ) – прямой среднеквадратической регрессии

σx

Y на X .

Минимальное значение F (α,β )min =σy2 (1−r2 ), достигающееся при найденных выше значениях параметров α и β , называется остаточной диспер-

сией случайной величины Y относительно случайной величины X ; она описывает величину ошибки, возникающей при замене Y линейной функцией g (X )=αX + β . Если r = ±1, остаточная дисперсия равна нулю , так как в

этом случае X и Y связаны строгой, а не приближенной линейной функциональной зависимостью.

Аналогично построенной функции среднеквадратической регрессии Y на X можно построить среднеквадратическую регрессию X на Y :

– прямая среднеквадратической регрессии X на Y , σx2 (1 − r2 ) – остаточ-

ная дисперсия величины X относительно величины Y .

Из уравнений прямых среднеквадратической регрессии видно, что они обе проходят через центр рассеяния – точку с координатами (mx ,my ). Если r = ±1, то обе прямые регрессии совпадают.

6.3.4. Линейная корреляция. Двумерный

линейной корреляционной зависимостью. Очевидно, графики функций регрессии в этом случае оказываются прямыми. Можно показать, что эти прямые совпадают с рассмотренными ранее прямыми среднеквадратической регрессии.

Описанная ситуация имеет место в одном важном частном случае – если двумерная случайная величина распределена по двумерному нормальному закону. Этот закон является обобщением одномерного нормального распределения, его плотность вероятности задается формулой

Нормальный закон на плоскости определяется пятью параметрами: ax , ay , σx , σy и rxy . Можно доказать что эти параметры имеют следующий вероятностный смысл: ax , ay - математические ожидания, σx , σy – среднеквадратические отклонения, rxy – коэффициент корреляции величин X и Y . Для

двумерного нормального распределения связь между некоррелированностью и независимостью компонент X и Y становится взаимно однозначной: если компоненты независимы, они некоррелированы, если они некоррелированы, то они независимы. (Если f (x,y)= f1 (x) f2 (y), то rxy = 0 , если rxy = 0 , то

f (x, y)= f1 (x) f2 (y)).

Покажем, что для двумерного нормального распределения между компонентами существует линейная корреляционная зависимость. Обозначим

Плотность распределения составляющей X