2.3. Линейный регрессионный анализ. Метод наименьших квадратов

Исследование и оптимизация сложных, плохо организованных систем возможны лишь с помощью статистических, вероятностных методов. Исходной точкой для таких исследований является аналог физической формулы – математической модели системы, носящей название модели эксперимента или уравнения регрессии. Однако не всегда экспериментальный материал дает возможность найти удобный и точный вид модели. В более общем случае математическая модель создается на основании статистического метода – регрессионного анализа.

Уравнение регрессии представляет математическую форму зависимости измеряемой физической величины от влияющих на нее факторов. Выбор того или иного вида уравнения (зависящий от самого исследователя, предлагающего модель) определяет точность (адекватность), с которой модель описывает в требуемых пределах реальную действительность. Такой выбор вида уравнения определяется исследователем на основании априорных сведений о процессе, изучения влияющих факторов, от которых зависит измеряемая величина, а также удобства использования математической модели данного конкретного вида. Методы регрессионного анализа позволяют из нескольких различных по виду моделей выбрать наиболее адекватную. Регрессионный анализ сводится к определению на основании экспериментальных данных коэффициентов модели (коэффициентов регрессии), оценки значимости значений этих коэффициентов и степени адекватности модели.

При статистической оценке степени адекватности модели экспериментальным результатам наиболее часто используют критерий значения квадрата отклонения этих результатов от расчетных значений, полученных на основании данной модели . Процедура оценки значений коэффициентов регрессии и адекватности, при которой квадрат отклонения является минимальным , носит название метода наименьших квадратов (МНК).

2.3.1. Метод наименьших квадратов

Эмпирическая формула в общем виде может быть записана в следующем виде:

= F(Xi, aj),

(2.13)

где Х_i — независимые переменные; a_j — коэффициенты эмпирической зависимости.

Согласно методу наименьших квадратов наилучшими коэффициентами в смысле приближения к экспериментальным данным (y_i=f(X_i)), будут коэффициенты, найденные из условия:

min{R(aj)} = (i=1,2,...,n; j=0,1,...,m)

(2.14)

т.е. минимума суммы квадратов отклонений между экспериментальными и расчетными значениями. В дальнейшем, вместо будем использовать Σ.

При фиксированных значениях Х функция R(a_j) является положительно определенной (заданной и непрерывной в интервале [X₁,X_n]) функцией и, следовательно, имеет экстремум. Необходимым условием существования экстремума функции нескольких переменных является равенство нулю частных производных.

Пусть эмпирическая формула имеет вид

F(X_i,a _j) = a₀ + a₁.X_i + a₂X_i² + ... + a_m.X_i^m

Тогда выражение (2.13) можно записать в следующем виде:

F(aj) =Σ (a0 + a1.Xi + a2Xi2 + ... + am.Xim – yi)2

(2.15)

Найдем частные производные функции R(a₀, a₁,...,a_m) по a₀, a₁,...,a_m и приравняем их к нулю. Получим так называемую нормальную систему m+1 уравнений с m+1 неизвестными a₀, a₁,...,a_m :

∂R/∂a0 = 2∑(a0 + a1Xi + a2Xi2 + ∙ ∙ ∙ + amXim - yi) ∙ 1 = 0 ∂R/∂a1 = 2∑(a0 + a1Xi + a2Xi2 + ∙ ∙ ∙ + amXim - yi) ∙ Xi = 0 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∂R/∂am = 2∑(a0 + a1Xi + a2Xi2 + ∙ ∙ ∙ + amXim - yi) ∙ Xim = 0

(2.16)

Решив систему (2.16) известными методами (формулы Крамера, метод Гаусса и др.), найдем коэффициенты a₀, a₁,...,a_m формулы (2.14), которая будет обладать минимальным квадратичным отклонением R(a_j ).

На практике, как правило, при определении коэффициентов с использованием метода наименьших квадратов любую эмпирическую зависимость целесообразно привести к линейному виду. Рассмотрим получение системы нормальных уравнений для этого случая.