17. Метод максимального правдоподобия в задачах планирования экспериментов.
Пусть целью экспериментов является измерение некоторой величины x
(скалярный случай). Пусть истинное значение этой величины равно x0. Будем
пока считать, что это точное значение измеряемой величины известно. Тогда
ошибка
наблюдения будет равна
Примем предположение, что, как
случайные ошибки измерения, так и
результаты измерений неизвестной
величины x, распределены по нормальному
закону.
Мы уже говорили, что
это
предположение называют также основной
гипотезой теории
измерений.
Тогда
плотность вероятности распределения
величины x
есть
с математическим ожиданием, равным истинному значению x0, и дисперсией
Это
значит, что результат отдельного
измерения является
элементом бесконечного множества измерений (его называют генеральной
совокупностью), которые выполняются в одинаковых условиях со средней
ошибкой (равноточные измерения). Среднее арифметическое этой
совокупности равно математическому ожиданию x0, то есть истинному
значению измеряемой величины. На практике количество наблюдений
ограничено.
Поэтому ряд
экспериментальных
значений
измеряемой величины x рассматривается как случайная выборка из
генеральной совокупности. Здесь верхний индекс (n) означает номер опыта, в
котором измерена неизвестная величина x.
Так как результаты измерений можно рассматривать как взаимно
независимые, то плотность вероятности реализации в n экспериментах всей
выборки
равна
произведению плотностей вероятностей
реализации каждого отдельного измерения:
Наша
цель – оценить неизвестное истинное
значение x0
и
при этом обеспечить минимальную среднюю
ошибку
, где
-
дисперсия.
Это значит, что нас интересуют экстремумы
плотности
вероятности , которую теперь будем рассматривать как функцию двух
переменных
x0
и
.
Понятно, что наибольшую точность оценки
неизвестной
величины
по результатам измерений (выборки)
при
минимальной погрешности может обеспечить выбор x0, при котором будут
выполнены необходимые условия экстремума функции
Такими условиями, как это следует из курса математического анализа,
в нашем случае будут условия:
Из
этого следует, в свою очередь, что выборке
которая
реализовалась в n экспериментах, будет поставлено в соответствие
наибольшее значение плотности вероятности
при
и
любом значении
, а также при
и любом значении x0.
Иными словами, при нормальном законе распределения ошибок
измерения, наиболее вероятной оценкой измеряемой величины x0 является
среднее
арифметическое выборки
а
наилучшей оценкой
средней ошибки определения величины x0 является среднеквадратическое
отклонение.
Метод, которым получены последние 2 формулы называют методом
максимального правдоподобия.
18. Использование метода наименьших квадратов в случае косвенного измерения нескольких величин.
Пусть целью экспериментов является
определение
m
неизвестных
параметров (коэффициентов)
которые
непосредственным измерениям не поддаются,
по результатам измерений величины
в
n
экспериментах.
Компоненты векторной функции
как
функции управляемых
(контролируемых)
переменных
при
каждом заданном в
эксперименте
наборе значений компонент вектора
образуют
матрицу f
(x)
размера
с
элементами следующего вида:
Напомним, что здесь индекс i означает номер эксперимента, а индекс j
соответствует
номеру компоненты вектора параметров
Под
результатами измерений далее можно понимать как результаты измерений в
каких-то физических экспериментах, так и результаты имитационного
моделирования,
в которых роль измеряемой величины
будет
играть величина выходного сигнала.
Теперь уравнение (модель) запишем в виде:
(4.13)
Эту систему нельзя непосредственно разрешить относительно
неизвестных
так
как правые части вместо точных значений
содержат
результаты измерений этих величин
со
случайными ошибками
.
Можно сформулировать проблему оценки
коэффициентов
и
следующим образом: какие
преобразования нужно выполнить с уравнениями (4.13), чтобы по
результатам
измерений
содержащим случайные ошибки,
получить максимально достоверную оценку истинных значений
коэффициентов этих уравнений? Оказывается, если количество опытов n
больше
количества неизвестных
то
по результатам
измерений
на основании принципа наибольшего правдоподобия можно найти такую
совокупность
значений
которая
с наибольшей
вероятностью удовлетворяет уравнениям вида (4.13). С этой целью вновь
примем предположение о нормальном распределении плотности вероятности
случайных
величин
(4.14)
Понятно,
что предполагаемые истинные значения
измеряемых
величин
в
точности удовлетворяют уравнениям
(4.13) ,
в
которых
«зашифрованы»
и точные значения коэффициентов
С
учетом
этого обстоятельства для плотности
вероятности случайной выборки
из
(4.14) следует выражение:
Теперь
эту функцию будем рассматривать как
функцию многих
переменных
Эта
величина
достигает максимума при выполнении необходимых условий экстремума
функции многих переменных, то есть при условии одновременного
обращения
в нуль всех ей частных производных по
На этом основании приходим к следующей системе уравнений:
Отсюда
следует система уравнений относительно
вида:
Напомним,
что здесь
-
элементы матрицы
Заметим,
что в системе (4.13) число уравнений n
не
равно числу
неизвестных m. Более того, интуитивно мы ожидаем, что чем больше
уравнений (а каждому соответствует одно измерение величины y), тем точнее
должна получаться оценка для коэффициентов, но тогда неясно, какое из
возможных решений этой системы принимать за «хорошую» оценку
коэффициентов. В уравнениях (4.17) эти проблемы сняты: число уравнений
равно числу неизвестных, матрица коэффициентов симметрична
относительно главной диагонали, что также является существенным
достоинством.
Итак,
в качестве наиболее вероятной оценки
коэффициентов
по
результатам измерений, содержащих случайные погрешности, следует брать
не прямое решение системы уравнений (4.13), а решение
«сконструированных» из неѐ уравнений (4.17). Условие максимального
правдоподобия в этом случае совпадает с условием минимума суммы
квадратов ошибок:
Поэтому метод и называется методом наименьших квадратов.