3. Метод наименьших квадратов и элементы регрессионного анализа

3.1. Постановка задачи

Как было видно в разделе, посвящённом интерполированию функций, таблицы значений исследуемой (известной или неизвестной) функции содержали небольшое количество узлов. Однако на практике часто приходится иметь дело с такими процессами и явлениями, когда их изучение приводит к достаточно большим массивам значений функции. В этом случае метод интерполирования может стать либо слишком трудоёмким, либо вообще неприменимым. Поэтому исследователи ставят задачу установления хотя бы качественной картины поведения функции, заданной большим числом значений. Тем не менее, для получения такой картины также приходится устанавливать некоторые количественные соотношения.

Одним из методов обработки экспериментальных данных является метод наименьших квадратов, описываемый ниже. С его помощью на основе экспериментальных данных можно получать различные функции (являющиеся приближениями функции, “спрятанной” в таблице) или, говоря специальным языком, уравнения регрессии. Термин "регрессия" (лат. regression – отступление, возврат к чему-либо) связан со спецификой одной из конкретных задач, решённых на стадии становления метода, и в настоящее время не отражает всей сущности метода, но продолжает применяться.

Таблица значений функции и уравнение регрессии составляют вместе математическую модель объекта или явления, которая обязательно должна подвергнуться проверке на соответствие реальному положению дел.

Проверить математическую модель – это значит определить, насколько она согласуется с реальными данными об изучаемом объекте. Для этого по эмпирическим данным вычисляются различные статистические характеристики, позволяющие оценить количественно параметры модели, проанализировать надёжность этих оценок, проверить различные гипотезы, лежащие в основе исследуемой модели. Такую задачу решает математическая статистика – теория обработки и анализа данных.

Средства математической статистики позволяют оценить уравнение регрессии с двух важнейших позиций: надёжности коэффициентов уравнения и качества уравнения в целом. Нетрудно понять, что более или менее удовлетворительная оценка уравнения получается как следствие принципа, положенного в основу его получения. Наиболее популярен принцип минимизации квадратичного отклонения, с которым мы уже сталкивались при описании полиномов Чебышёва. Там принцип был использован в интегральном виде. Здесь по причине дискретности таблицы значений функции он будет применён в дискретном виде.

Пусть в результате опыта получены значения величины , соответствующие значениям (явный вид функции может быть не известен). Составим таблицу:

				...
				...

Нужно найти аналитическую зависимость между величинами и . Для этого можно построить интерполяционный полином Лагранжа или Ньютона. Однако совпадение значений многочлена в узлах таблицы со значениями искомой функции вовсе не означает совпадения поведения исходной функции и полинома :

Кроме того, сами значения функции в таблице могут содержать погрешности измерений. Поэтому при обработке результатов наблюдений требуют лишь приближённого совпадения значений искомой функции со значениями интерполирующей функции. Как правило, такая функция ищется из числа простых по виду аналитических функций.

На практике часто предварительно строится точечный график функции , а затем проводится плавная кривая, проходящая по местам сгущения точек. По виду кривой подбирают приближающую функцию:

Функцию требуется подобрать так, чтобы она в некотором смысле наилучшим образом отражала зависимость между и . Проще всего предварительно оценить характер зависимости можно путём нанесения пар точек на координатную плоскость.

Пусть, например, экспериментальные точки расположены на координатной плоскости следующим образом:

В случае а) естественно предположить, что имеется линейная зависимость (на графике – прямая линия), а в случае б) – квадратичная зависимость . В следующих двух вариантах расположения точек,

для варианта а) подойдёт степенная функция , а для б) – гиперболическая функция .

Уравнение называется уравнением регрессии.

Выбрав вид функции , необходимо найти входящие в её выражение значения параметров так, чтобы из всех функций данного вида выделить ту, которая лучше других описывает зависимость между изучаемыми величинами, то есть обеспечивает наименьшее отклонение экспериментальных значений зависимой переменной от значений , получаемых в результате вычислений с помощью функции .