Оценки начальных коэффициентов регрессии и остаточной суммы квадратов

Оценки статистических характеристик сигналов и помех мож­но получить, если в формулы (2.19) и (2.20) вместо соответствующих моментов подставить их оценки по выборке объема N независимых испытаний.

Пусть m (N-мерных) векторов и определен как

.

Оценки матриц корреляционных и ковариационных моментов могут быть вычислены как

,

,

где элемент вычисляется как , а элемент –

как или .

Оценка вектора В по уравнению (2.18) может быть осуществле­на как

. (2.24)

Оценка остаточной суммы квадратов (2.20) получается как

,

или

,

где

.

Пусть есть – скалярная случайная величина, а при N>т – независимые случайные величины.

Условное математическое ожидание

, (2.25)

где ; количество членов в правой части (2.25) равно р=т—1.

Тогда параметр есть остаточная сумма квадратов, — остаточная дисперсия, а , можно рассматри­вать как N частных значений фиксированной переменной.

Оценка для множественного коэффициента регрессии на осно­вании уравнения (2.24) будет

, (2.26)

где при ;

, . (2.27)

Дисперсия оценки

.

При можно записать

.

матрица ковариации оценок будет

, (2.28)

или при .

Ошибка регрессионного предсказания

или

.

Разность между и представим в виде

. (2.29)

Рассмотрим случай, характерный для параметров сигналов в ближней локации, когда смещением оценки можно пренебречь по сравнению с остаточным среднеквадратическим отклонением, т. е.

.

Тогда, возводя равенство (2.29) в квадрат и суммируя по п,

имеем

или

,

где

, ; (2.30)

. (2.31)

Но , обращаясь к матрице ковариацией (2.28),

находим, что

. (2.32)

На основании

имеем

.

Так как величина (2.30) свободна от параметров и , то она может служить для оценивания , т. е. является несмещенной оценкой для .

Средние значения , и равны соответственно , и ; числа М, N—р и р есть степени свободы , и .

Преобразуя выражение (2.31), получаем

.

может быть вычислена как

.

Рассмотрим распределение оценок в предположении, что при независимы и нормальны с плотностью распреде­ления вероятностей

.

В этом случае матрица неособая и являются линейны­ми несмещенными оценками (по методу максимального правдопо­добия) множественных коэффициентов регрессии и имеют р-мерное нормальное распределение вероятностей [23]

.

и независимы, и неза­висимы и имеют -распределения с (N—р) и р степенями свободы.

Поскольку и любая из величин независимы и имеет нормальное распределение вероятностей с а – -распределение с (N-p) степенями свободы, следо­вательно:

,

имеет t-распределение Стьюдента с (N—р) степенями свободы [21].

, (2.33)

есть -процентный доверительный интервал для , где удовлетворяет условию

.

Особый интерес при исследовании регрессионных систем пред­ставляет выборочное распределение величины , соответствующей некоторым фиксированным значениям

Тогда на основании формулы (2.29)

.

На основании выражения (2.31)

.

Используя (2.32), получаем

.

Если случайные величины , независимы и нор­мальны, то величина подчинена распределению вероятностей

величина подчинена -распределению с (N—р) сте­пенями свободы и некоррелирована с , а, следовательно, и с .

Поэтому величина

. (2.34)

подчинена - распределению вероятностей с (N—р) степенями свободы. Откуда

.

Иногда при синтезе систем принятия решения исследователя может интересовать совместная вероятность попадания в заданные интервалы, которую можно определить, используя F-распределение.

Величина имеет F-распределение F(р, N-р). Подставляя в числитель из уравнения (2.31), получаем:

или

,

где – случайный эллипсоид в пространстве с центром в точке , который задается уравнением

.

Рассмотрим случай регрессионной связи между двумя случай­ными величинами y и х. Исследуем линейную регрессионную зави­симость вида

,

где х и у представлены ограниченной выборкой, состоящей из N пар измеренных значений и .

Матрица оценок начальных корреляционных моментов будет иметь вид

,

где

; ; .

Тогда на основании равенства (2.26) оценка коэффициента рег­рессии будет

. (2.35)

Выборочное стандартное отклонение от прогноза определится равенством

. (2.36)

На основании формулы (2.33) выборочное распределение оцен­ки связано с t-распределением Стьюдента соотношением [23]

. (2.37)

Тогда 100 – процентный доверительный интервал для на осно­вании выражений (2.33) и (2.37). будет

. (2.38)

Выборочное распределение величины , соответствующее фик­сированной величине , на основании формулы (2.34) связано с t-распределением Стьюдента соотношением

. (2.39)

Тогда – процентный доверительный интервал для будет

Сравним полученные зависимости для начальной регрессии с результатами для центральной регрессии [23].

Уравнение центральной регрессии имеет вид

.

Оценки величин и , минимизирующие сумму квадратов от­клонений измеренных величин у от предсказанных, будут

;

; .

Уравнение регрессии записывается в виде

.

Если величина у при заданном х подчиняется нормальному распределению вероятностей, то и представляют собой несмещен­ные оценки коэффициентов и соответственно.

Выборочное распределение этих оценок связано с t-распределе­нием Стьюдента следующим образом:

;

;

,

где – выборочное стандартное отклонение измеренных зна­чений от прогноза ; .

Как видно из приведенных выше зависимостей оценки коэффициентов регрессии и остаточной суммы квадратов различны для центральной и начальной регрессий.