11 Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х¹, х²,…, х^N (х^j – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b₁ f₁(x) + … + b_k f_k(x), (2.1)

где f_u(x) – заданные функции; b_u – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где у_i – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Ф_ij] = [f_j(xⁱ)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

(Ф^T Ф) = Ф^T y. (2.2)

Значит

= (Ф^T Ф)^–1 Ф^T y. (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = у_ДЕТ(х) + у_СЛУЧ() = у(х) + ,

где  – случайный N-мерный вектор с параметрами M[] = 0; D[] = ²I;

у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[ ] = ² (Ф^T Ф)^–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def. Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def. Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним:  = у – M[y]. Из уравнения (2.2) имеем

Ф^Т (у – Ф ) = Ф^Т = . (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: z^Т Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f₁(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид  = 0.

Обозначим у_j и оценим величину Q_ОБЩ = (у_j – )² – разброс компонент вектора у. Имеем

Q_ОБЩ = [(у_j – ) + ] ² = (у_j – ) ² + 2(у_j – ) +  ².

Найдем А = (у_j – ) =  . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде  . Полагая в выражении а) z = , получим = 0. Следовательно, А = 0. Отсюда

Q_ОБЩ = (у_j – ) ² +  ² = Q_ОСТАТ + Q_РЕГР,

где Q_ОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

Q_РЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

–

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R², тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат – R²  90%.