6.3. Метод наименьших квадратов

Отклонения ε_i опытных данных y_iэ от рассчитываемых значений y_i (от значений эмпирической формулы в точках x₀, x₁,…,x_n):

. (6.9)

Запишем сумму квадратов отклонений для всех точек x₀, x₁,…,x_n:

. (6.10)

В общем виде эмпирическая формула записывается:

. (6.11)

Параметры эмпирической формулы (6.11) будем находить из

условия минимума функции

. (6.12)

В этом состоит сущность МНК.

В теории вероятностей доказывается, что полученные таким методом параметры наиболее вероятны, если отклонения подчиняются нормальному закону распределения.

Параметры являются независимыми переменными функции S. Её минимум найдем, приравняв частные производные по этим переменным:

. (6.13)

Выражение (6.13) является системой уравнений для определения .

Рассмотрим применение МНК для частного случая, широко используемого на практике. В качестве эмпирической функции рассмотрим многочлен:

. (6.14)

Формула (6.10) для определения суммы квадратов отклонений S имеет вид

. (6.15)

Для составления системы уравнений (6.13) найдем частные производные функции :

(6.16)

Приравнивая эти выражения 0 в соответствии с уравнениями (6.13) и собирая коэффициенты при неизвестных , получаем следующую

систему уравнений (при знаке ∑ i = 0,1,…,n):

(6.17)

Решая эту систему линейных уравнений, получаем коэффициенты многочлена (6.14). Эти коэффициенты являются искомыми параметрами эмпирической формулы.

Многочлен (6.14) может быть линейным (m = 1), квадратичным (m = 2), кубическим (m = 3) и т.д. Эмпирическая формула может быть не многочленом, а логарифмической или показательной функцией. Выбор вида эмпирической функции зависит от опыта исследователя. Но для оценки правильности выбора вида эмпирической формулы есть четкий количественный критерий. Это средняя квадратичная ошибка аппроксимации

, (6.18)

где к – число коэффициентов в эмпирической формуле; - отклонения; y_i – значения, рассчитанные по эмпирической формуле. Лучше та эмпирическая формула, которая дает наименьшее значение S_ош.

6.4. Пример использования метода наименьших квадратов

В результате проведения опытов и фиксирования их результатов получены опытные данные, представленные в табл. 6.2. По этим данным необходимо получить эмпирическую формулу для описания функциональной зависимости y = f(x).

Если изобразить табличные данные на графике (см. рис. 6.3), легко убедиться, что в качестве эмпирической формулы для аппроксимации

Таблица 6.2

Таблица с опытными данными

xi	0,75	1,50	2,25	3,00	3,75
yiэ	2,50	1,20	1,12	2,25	4,28

Рис. 6.3. Расположение опытных данных, представленных в табл. 6.2,

на графике (еще например у3э и х3)

опытной функции можно принять параболу, т.е. квадратный трехчлен:

. (6.19)

Формула для суммы квадратов отклонений имеет вид:

.

В данном случае n = 4, m = 2. Найдем частные производные функции :

Приравнивая эти выражения 0 и собирая коэффициенты при неизвестных , получаем следующую систему линейных уравнений:

(6.20)

После подстановки числовых данных из табл. 6.2 система (6.20) запишется:

(6.21)

Систему (6.21) можно решить по правилу Крамера (методу определителей): а₀ = 5,54; а₁ = -4,73; а₂ = 1,19. Таким образом, получим следующую аппроксимацию функции, заданной в табличном виде:

. (6.22)

Оценим относительные погрешности полученной аппроксимации в заданных точках. Для этого найдем значения

,

где рассчитывается по формуле (6.22). Например:

Результаты вычислений сводим в табл. 6.3.

Таблица 6.3

Результаты оценки точности эмпирической формулы (6.22)

хi	yi	yiэ	εi	δyi
0,75	2,66	2,50	0,16	0,064
1,5	1,12	1,20	-0,08	-0,067
2,25	0,92	1,12	-0,20	-0,179
3,00	2,06	2,25	-0,19	-0,084
3,75	4,54	4,28	0,26	0,061

Вычислим среднюю квадратичную ошибку аппроксимации по формуле (6.18):

.

Примечание 1. При использовании линейной эмпирической формулы (6.4) система уравнений для расчета коэффициентов и имеет следующий вид:

(6.23)

Примечание 2. При использовании степенной эмпирической формулы (6.6) для приведения ее к линейному виду формулу прологарифмируем. Получим:

.

Обозначим , , , . В результате получим формулу

.

Для определения коэффициентов и решают систему вида (6.23), подставляя в нее значения и . После расчета и вычисляют и .

При расчете ошибки аппроксимации по формуле (6.18) расчетные значения определяют по формуле (6.6) и в нее подставляют исходные (не логарифмированные) значения .