5.3.2. Метод наименьших квадратов

Допустим, что результаты эксперимента представлены в виде табл. 5.1. И уравнение регрессии записывается в виде (5.11), т.е. зависит от (m+1) параметра

Эти параметры и определяют расположение графика уравнения регрессии относительно экспериментальных точек M_i (x_i, y_i), i=1,2,..,n (рис.5.2).

Однако эти параметры определяются не однозначно. Требуется подобрать параметры так, чтобы график уравнения регрессии был расположен «как можно ближе» к системе этих экспериментальных точек.

Введем понятие отклонения значения уравнения регрессии (5.11) от табличного значения y_i для x_{i :} , i=1,2,..,n.

Рассмотрим сумму квадратов отклонений, которая зависит от (m+1) параметра

Согласно МНК [3, 6] наилучшими коэффициентами a_i (i=0,1,..,m) являются те, которые минимизирует сумму квадратов отклонений, т.е. функцию .

Используя необходимые условия экстремума функции нескольких переменных, получим так называемую нормальную систему для определения неизвестных коэффициентов :

Для аппроксимирующей функции (5.11) система (5.14) является системой линейных алгебраических уравнений относительно неизвестных .

Возможны случаи:

1. Если , то существует бесконечно много многочленов (5.11), минимизирующих функцию (5.13).

2. Если m=n–1, то существует только один многочлен (5.11), минимизирующий функцию (5.13).

Будем считать, что m<n–1.

Чем меньше m, тем проще эмпирическая формула, но это не всегда лучше. Необходимо помнить, что полученная эмпирическая формула должна быть адекватной изучаемому объекту.

5.3.3. Линейная эмпирическая формула (линейная регрессия)

Самой простой является аппроксимация (приближение) прямой линией, так называемой линейной регрессией. Рассмотрим МНК для такого случая, когда уравнение регрессии имеет вид

y = (x, a, b) = a + bx (5.15)

Согласно МНК наилучшими параметрами функции (x,a,b) считаются те, для которых сумма квадратов отклонений S(a, b) является минимальной:

Для минимизации функции S=S(a,b) достаточно продифференцировать ее по параметрам a и b и приравнять производные нулю.

В результате чего получим систему линейных алгебраических уравнений, из которой определим параметры a и b.

Решив эту систему (например методом Крамара), получим неизвестные параметры а и b:

где

Подставив найденные значения а и в в линейную формулу (5.15), получим математическую модель исследуемого процесса.

Степень точности аппроксимации исследуемого процесса с помощью полученной функциональной зависимости может быть оценена по значению среднего квадратичного отклонения.

Под средним квадратичным отклонением функций y=f(x) и y=(x) на множестве точек понимается число

где y_i – экспериментальное значение, (x_i)– расчетное значение, вычисленное по формуле (5.15) для x_i. ( i=1, 2,..,n).

В численных методах анализа [6] доказывается, что если среднее квадратичное отклонение мало для “подавляющего большинства” значений x[a, b] (т.е. в “среднем” на [a, b]), то абсолютная величина f(x)-(x) также мала на отрезке [a, b], т.е. для x[a, b] (рис.5.3).

Рис.5.3. Геометрический смысл точности аппроксимации