Метод наименьших квадратов

Пусть для исходных данных x_i, f_i, i=1,…,N (нумерацию лучше начинать с единицы), выбран вид эмпирической зависимости: с неизвестными коэффициентами . Запишем сумму квадратов отклонений между вычисленными по эмпирической формуле и заданными опытными данными:

.

Параметры будем находить из условия минимума функции . В этом состоит метод наименьших квадратов (МНК).

Известно, что в точке минимума все частные производные от по равны нулю:

(1)

Рассмотрим применение МНК для частного случая, широко используемого на практике. В качестве эмпирической функции рассмотрим полином

.

Формула (1) для определения суммы квадратов отклонений примет вид:

(2)

Вычислим производные:

Приравнивая эти выражения нулю и собирая коэффициенты при неизвестных , получим следующую систему линейных уравнений:

Данная система уравнений называется нормальной. Решая эту систему линейных уравнений, получаем коэффициенты .

В случае полинома первого порядка m=1, т.е. , система нормальных уравнений примет вид:

При m=2 имеем:

Как правило, выбирают несколько эмпирических зависимостей. По МНК находят коэффициенты этих зависимостей и среди них находят наилучшую по минимальной сумме отклонений.

Пример. Заданы координаты точек:

x	-5	-3.5	-2	1.5	3.25	5
f	0.5	1.2	1.4	1.6	1.7	1.5

т.е. N=6. Требуется найти эмпирические зависимости: линейную , квадратичную , гиперболическую по методу МНК и выбрать среди них наилучшую по наименьшей сумме квадратов отклонений.

Система нормальных уравнений для линейной зависимости:

Учитывая, что N=6, , получим

Решая систему линейных уравнений, получим . Следовательно, линейная зависимость имеет вид: .

Вычислим сумму квадратов отклонений: .

Рассмотрим квадратичную зависимость. Система нормальных уравнений имеет вид

Найдем неподсчитанные суммы:

Решая СЛАУ, получим

Следовательно, квадратичная зависимость имеет вид: .

Вычислим сумму квадратов отклонений: .

Выпишем систему нормальных уравнений для гиперболической зависимости. Согласно МНК находим сумму квадратов отклонений:

. Составляем систему нормальных уравнений:

Или

Учитывая, что , получим

Сумма квадратов отклонений:

Из трех зависимостей выбираем наилучшую, т.е. квадратичную.

Численное интегрирование

Ряд технологических задач требует увязки в математическое описание всей информации о процессе. Например, для математических моделей химико-технологических процессов одними из основных параметров, характеризующих процессы, являются концентрации реагирующих веществ, температура процесса и др. Как правило, большинство балансовых уравнений в химической технологии представлены системой интегральных и дифференциальных уравнений, в результате решения которых могут быть получены зависимости, характеризующие протекание процесса.

Часто на практике не удается вычислить интеграл аналитическим путем. В этих случаях применяют приближенные методы численного интегрирования.