Коэффициент детерминации.

Введем показатель, характеризующий качество аппроксимации экспериментальных данных с помощью функции линейной регрессии. Отметим, что среди всевозможных наблюдаемых пар данных (x_i,y_i) наблюдаемый в статистическом эксперименте разброс значений переменной y обязан двум факторам. Во–первых, переменная y зависит от x и, следовательно, меняется потому, что в разных экспериментах наблюдались различные значения переменной x. Во–вторых, значения y меняются от эксперимента к эксперименту потому, что y зависит от случайной величины , которая будет принимать различные значения даже при постоянном значении x. Мерой разброса (вариацией) значений переменной y естественно считать выборочную дисперсию . Определим, какая доля дисперсии приходится на детерминированную зависимость y от x, а какая – на стохастическую зависимость yот.

По определению выборочной дисперсии, получаем

Покажем, что второе слагаемое в приведенной сумме можно отбросить (то есть сумма этих слагаемых равна 0). Вспомним, что параметры b₀ и b₁ были найдены как решения линейной системы уравнений

С учетом этих уравнений получаем:

Следовательно, дисперсия распадается на два слагаемых: остаточную сумму квадратов

и регрессионную дисперсию, связанную с детерминированной частью зависимости,

.

Коэффициентом детерминации R² называется отношение этой последней суммы к суммарной дисперсии , то есть

.

С учетом соотношения , получаем

.

Окончательная формула:

.

Таким образом, коэффициент детерминации R² есть доля в вариации переменной Y, за которую отвечает детерминированная часть регрессии. По определению, величина R² принимает значения от 0 до 1. Если R²=1, то стохастическая часть не оказала влияния на значения Y в статистическом опыте (то есть можно считать, что =0). Наоборот, R²=0 только в случае b₀=b₁=0.

Проверка гипотезы о значимости уравнения регрессии в целом.

При отсутствии линейной зависимости y от x (то есть в случае y=) статистики и имеют ²–распределение с числом степеней свободы N2 и 1 соответственно. Действительно, в этом случае

,

гдеe_i – нормально распределенные случайные величины с нулевым математическим ожиданием и средним квадратичным уклонением . При этом эти случайные величины e_i подчиняются двум линейно независимым соотношением, следовательно, при достаточно большихN, статистика распределена по закону ² с N2 степенями свободы.

Аналогично, для статистики D_R имеем:

, где , .

Подставляя в сумму для D_R, получим

.

При этом b₁ нормально распределена с математическим ожиданием a₁ = 0 и средним квадратичным уклонением .Следовательно, статистика распределена по закону ² с 1 степенью свободы.

Теперь мы можем найти закон распределения коэффициента детерминации и сформулировать критерий незначимости уравнения регрессии с заданным уровнем значимости. Для этого нам потребуется знание еще одного распределения, а именно, распределение Фишера–Снедекора, или F–распределения.

Рассмотрим случайную величину

,

где – независимые случайные величины с числом степеней свободы k_i. Случайная величина называется F–распределением с числом степеней свободы . Функция плотности F–распределения имеет вид

.

Можно показать, что статистики и являются независимыми, поэтому случайная величина

имеет F–распределение с числом степеней свободы 1, N2. Это дает следующий критерий проверки гипотезы о незначимости уравнения регрессии.

Зададимся уровнем значимости  и найдем критическую точку F–распределения с числом степеней свободы 1, N2 и данным уровнем значимости . Для этого следует решить уравнение

.

Для вычисления можно использовать следующие команды программ как EXCEL, MATHCAD и MAPLE.

>with(stats):statevalf[icdf,fratio[k1,k2]](1-); (Maple)

qF(1,k1,k2) (MathCad)

=FРАСПОБР(;k1;k2) (Excel)

В частности, .

Уравнение регрессии признается незначимым на уровне значимости , если .

Иначе, гипотеза о незначимости уравнения регрессии отвергается.