11.1 Регрессионный анализ. Регрессионные модели. Метод наименьших квадратов

Задачей регрессионного анализа является выявление вида стохастической связи между случайными величинами. Используемые математические методы интерполяции для неслучайных величин неприемлемы, поскольку необходимо учитывать наличие неконтролируемого фактора. Все методы выявления стохастической зависимости направлены на то, чтобы минимизировать ошибку выявленной стохастической связи. Таким универсальным критерием выявления стохастической зависимости между случайными величинами является сравнение дисперсий между различными классами стохастических функций.

Полагаем, что результаты эксперимента представляются парами

y=f₁(x); y=f₂(x)

; , где l – число связей, накладываемых на число степеней свободы дисперсий. В общем виде, l=k+1, где k – число неизвестных коэффициентов в каждом классе функций.

Из этих двух функций f₁ и f₂ выбирается та функция, которая обеспечивает наименьшую дисперсию. В случае, если класс функции определен, то задача регрессионного анализа сводится к расчету неизвестных коэффициентов в методе наименьших квадратов, обеспечивающих минимум функционала.

Класс функций всегда выбирается дифференцируемый. Тогда минимум этого функционала всегда обеспечивается. Строится система нормальных уравнений , как частные производные по каждому неизвестному коэффициенту.

Например, для регрессионного полинома 2-ого порядка

- система нормальных уравнений

Если класс полинома для регрессионной зависимости неизвестен, то в качестве критерия выбора используется статистика Фишера , рассчитанная по дисперсиям регрессионных полиномов отличающихся порядком на 1.

Допустим, что первоначальное уравнение приближенной регрессии y=f(x) предлагается заменить уточненным уравнением y= f(x)+φ(x). Поправка φ(x) может быть отвергнута по следующим причинам:

- у нее может оказаться слишком много связей, накладываемых на выборку;

- она может быть слишком мала по сравнению со случайной ошибкой наблюдений

Проверка первой возможности является основным критерием и должна проводиться всегда. Вторая возможность поддается проверке только в том случае, когда есть достаточно надежная оценка для случайной ошибки наблюдения.

Пусть функция F(x) содержит связей, накладываемых на выборку, функция f(x)+φ(x) содержит связей. Вычисляем дисперсии

Согласно общим положениям поправки φ(x) должна быть безусловно отвергнута, если окажется, что Но даже уменьшение дисперсии означает, что поправку φ(x) нужно принять – это уменьшение должно быть значимым (неслучайным). Значимость уменьшения дисперсии проверяется по критерию Фишера. А именно, уменьшение дисперсии нужно считать значимым (и, следовательно, принять поправку φ(x), если окажется ,что

,

где число имеет степени свободы и выбранному уровню значимости

Трудности заключаются в том, что при переходе от k –ой степени к (k+1)- ой степени в правой части уравнения регрессии добавляется не просто одно слагаемое вида , а целый многочлен (k+1)- ой степени, в котором содержится k+2 новых неизвестных коэффициента. Но оказывается, в случае, когда равно отстоят друг от друга, не все k+2 коэффициента в этой добавке могут быть произвольными. Это обеспечивается использованием полиномов Чебышева.