Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ОНИ-1 (1), сокр.doc
Скачиваний:
7
Добавлен:
01.07.2025
Размер:
9 Мб
Скачать
☆

4.5.1. Метод наименьших квадратов (мнк).

Статистики разработали много разнообразных методов обработки результатов экспериментов. Но наибольшее распространение получил

метод наименьших квадратов, который был разработан более 100 лет назад Лежандром и Гауссом. Разберемся в этом методе.

Пусть имеется выборка эксперимента объемом N. Задан некоторый класс функций f(x) с числом связей l, равным числу коэффициентов, которые необходимо опре­делить. Требуется найти уравнение регрессии.

Пояснение. Наилучшее уравнение регрессии дает та функция из рассматриваемого класса, для которой сум­ма квадратов

(4.80)

имеет наименьшее значение.

Если

(4.81)

дифференцируема и требуется найти

(4.82)

то необходимым условием минимума S является выпол­нение равенств

(4.83)

или

(4.84)

Система (4.84) состоит из уравнений, число которых равно числу неизвестных коэффициентов b0, b1, b2, ... и называется системой нормальных уравне­ний.

Выбор полинома f(xu, b0, b1, ...) зависит от имеющей­ся у исследователя априорной информации и является в значительной степени искусством.

Предположим, что полином (4.81) имеет вид

(4.85)

Это хорошо известное уравнение прямой линии.

Требуется найти коэффициенты b0 и b1 (в данном случае число связей l=2).

В целом регрессионный анализ не обязательно рассчитан на планирование эксперимен­та, хотя использование планирования, как будет показа­но в дальнейших алгоритмах, значительно расширяет его возможности. Здесь план эксперимента не использу­ется. Выборка N получается пассивным наблюдением за объектом, хотя наблюдение и ведется по плану.

Расчет коэффициентов регрессии. Если бы все экспериментальные точки лежали строго на пря­мой линии, то для каждой из них было бы справедливо равенство

где i=l, 2, . . . , N — номер опыта. Тогда не было бы никакой проблемы. На практике это равенство нарушается и вместо него приходится писать

где ξi — разность между экспериментальным и вычисленным по уравнению регрессии значениями у в i-й экспериментальной точке. Эту величину иногда называют невязкой.

Действительно, невязка возникает по двум причинам: из-за ошибки эксперимента и из-за непригодности модели. Причем эти причины смешаны и мы не можем, не получив дополнительной информации, сказать, какая из них преобладает.

Можно постулировать, что модель пригодна. Тогда невязка будет порождаться только ошибкой опыта. (Еще можно, конечно, постулировать, что ошибка опыта равна нулю. Тогда невязка будет связана только с пригодностью модели, и пригодной будет такая модель, для которой все невязки равны нулю.)

Обычно оценивают независимо ошибку опыта и проверяют пригодность модели.

Мы хотим найти такие коэффициенты регрессии, при которых невязки будут минимальны. Это требование можно записать по-разному. В зависимости от этого мы будем получать разные оценки коэффициентов. Приведем одну из возможных записей

которая приводит к методу наименьших квадратов.

Возможен и метод наименьших кубов

так как условие, которое мы выбираем, произвольно. Однако этот метод хуже МНК, так как мы будем получать оценки коэффициентов со значительно меньшей точностью. Да и в вычислительном отношении этот путь сложнее.

Существует и метод, в котором минимизируется сумма модулей (абсолютных величин) невязок. Но этот путь связан с дополни­тельными вычислительными трудностями. Условие МНК — это удачный компромисс.

Существуют другие подходы. Можно, например, минимизировать модуль максимальной невязки. Это записывается так:

Предложений можно сделать довольно много, но мы не будем более на них останавливаться и перейдем непосредственно к МНК.

Когда мы ставим эксперимент, то обычно стремимся провести больше (во всяком случае не меньше) опытов, чем число неизвест­ных коэффициентов. Поэтому система линейных уравнений

оказывается переопределенной и часто противоречивой (т. е. она может иметь бесконечно много решений или может не иметь реше­ний). Переопределенность возникает, когда число уравнений больше числа неизвестных; противоречивость—когда некоторые из уравнений несовместимы друг с другом.

Только если все экспериментальные точки лежат на прямой, то система становится определенной и имеет единственное реше­ние.

МНК обладает тем замечательным свойством, что он делает определенной любую произвольную систему уравнений. Он де­лает число уравнений равным числу неизвестных коэффициентов.

Наше уравнение регрессии имеет вид

В нем два неизвестных коэффициента. Значит, применяя МНК, мы получим два уравнения.

Выше мы писали

Это соотношение можно записать в другом виде

Из курса математики известно, что минимум некоторой функции, если он существует, достигается при одно­временном равенстве нулю частных производных по всем неиз­вестным, т. е.

Запишем наши уравнения для определения коэффициентов. Они выглядят так :

Для вычислений раскроем скобки и проведем простые преобразования (для этого воспользуемся выражением (4.84), которые дают

Окончательные формулы для вычисления коэффициентов ре­грессии, которые удобно находить с помощью определителей, имеют вид

(4.86)

Результаты эксперимента представляются следующей матрицей (табл. 4.13).

Таблица 4.13