9. Метод наименьших квадратов
Метод наименьших квадратов (МНК) является одной из простейших задач аппроксимации – приближенного восстановления функции по известным ее значениям в некоторых точках.
Задача ставится следующим образом: пусть известен набор точек (узлов)
. (9.1)
Необходимо
подобрать функцию
определенного вида, чтобы она по
возможности наиболее точно отражала
неизвестную зависимость измеряемой
величины от координат точек (9.1).
Аппроксимирующую функцию
в общем случае подбирают в виде
, (9.2)
где
– пока неизвестные коэффициенты
(параметры),
,
,
…,
– некоторые известные базовые (простейшие)
функции. Значения коэффициентов
необходимо подобрать так, чтобы значения
функции (9.2) в точках
по возможности наименее всего отклонялись
бы от значений
.
Таким образом, МНК
состоит в минимизации суммы квадратов
погрешностей (невязок)
,
то есть:
. (9.3)
Рассмотрим
сначала самый простейший случай, который
часто используется в экономике (в
трендовом анализе), когда
,
,
аппроксимирующая линейная функция
имеет вид
, (9.4)
где
– пока неизвестные коэффициенты.
Подберем
коэффициенты
таким образом, чтобы функция вида (9.3)
двух переменных (относительно
)
(9.5)
принимала самое наименьшее значение. Для этого находим частные производные по параметрам (пользуемся производной сложной функции):
,
.
Согласно
необходимому условию точки экстремума
приравниваем найденные выше частные
производные к нулю (
,
)
и получаем систему для нахождения
коэффициентов
:
,
,
Итак, для определения коэффициентов получили линейную систему двух уравнений
(9.6)
Можно доказать, что точка ( ), найденная из системы (9.6), действительно является точкой минимума функции (9.5).
Пример
9.1. В таблице
9.1 даны значения точек
(
).
Пользуясь методом наименьших квадратов,
найти вид линейной функции
(то есть найти параметры
),
для которой функция (9.5) принимает
наименьшее значение.
Таблица 9.1.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
=0
=1
=2
=3
=4
=5
=6
=7
=1
=3
=2
=2
=3
=7
=3
=4
Для нахождения параметров необходимо составить и решить систему линейных уравнений (9.6). Составим вспомогательную таблицу 9.2.
Таблица 9.2.
значения
|
значения
|
значения
|
значения
|
значения
|
1 |
0 |
1 |
0 |
0 |
2 |
1 |
3 |
1 |
3 |
3 |
2 |
2 |
4 |
4 |
4 |
3 |
2 |
9 |
6 |
5 |
4 |
3 |
16 |
12 |
6 |
5 |
7 |
25 |
35 |
7 |
6 |
3 |
36 |
18 |
8 |
7 |
4 |
49 |
28 |
суммы |
|
|
|
|
=28
=25
=140
=106
По
таблице 9.2 легко составить систему
(9.6):
решить которую можно по правилу Крамера
(с точностью до сотых долей):
,
,
,
,
.
Итак,
искомый вид линейной функции
.
Для наглядности построим в системе
координат исходные точки
(
)
и полученную прямую
(см. рис. 9.1).
Рис. 9.1.
Согласно
вышеизложенному заключаем, что из всех
прямых вида
,
построенная прямая
наиболее четко отражает задачу, то есть
точки
(
)
ближе всего приближены к этой прямой.
Рассмотрим
случай, когда
,
,
,
аппроксимирующая квадратичная функция
имеет вид
, (9.7)
где
– пока неизвестные коэффициенты.
Параметры
подбираются таким образом, чтобы функция
вида (9.7) трех переменных (относительно
)
(9.8)
принимала самое наименьшее значение. Для этого находим частные производные по параметрам (пользуемся производной сложной функции):
,
,
.
Для нахождения точки экстремума функции (9.8) приравниваем найденные частные производные к нулю:
,
,
.
В результате получаем линейную систему трех уравнений для нахождения параметров :
(9.9)