1.5. Понятие о научном эксперименте, принцип максимального правдоподобия математических моделей

Выше было показано, что всякая математическая модель является только приближенным описанием некоторых свойств соответствующего реального объекта.

Единственным способом проверки степени соответствия модели и моделируемого объекта является научный эксперимент. Под экспериментом понимают целенаправленно организованный опыт, состоящий из воспроизведения и наблюдения исследуемого явления с необходимой точностью.

Математическое моделирование также представляет собой эксперимент, цель которого состоит в том, чтобы опытным путем, или путем логического вывода, найти неизвестные параметры _, ..., _m математической модели изучаемого процесса или объекта и построить соотношение Y^* = F^*( x₁, ..., x_n, z₁, ..., z_r, __m) в явном виде так, чтобы в области варьирования факторов x₁, ..., x_n, z₁, ..., z_r функция Y^* наилучшим образом приближалась бы к функции Y.

Достижение этой цели основано на использовании принципа максимального правдоподобия математической модели (функции F^*) экспериментально полученным данным об исследуемом объекте.

Принцип максимального правдоподобия основан на следующих известных положениях теории вероятностей.

1. Случайная величина Y полностью определяется (задается) функцией плотности распределения f(y,) ее значений, где - параметр плотности распределения.

2. Математическое ожидание случайной величины Y есть наиболее вероятное (правдоподобное) ее значение. Оно вычисляется по формуле:

E{y} соответствует максимальному значению этой функции.

Другими словами, наиболее вероятное значение E{y} случайной величины Y соответствует значению параметра  функции f(y, ), удовлетворяющему условию:

d f(y,)/ d = 0,                         (1.5)

где  - среднее значение величины y.

Рис. 1.4. График функции плотности распределения вероятностей

Уравнение (1.5) называется уравнением правдоподобия , а решение ^ этого уравнения называется оценкой максимального правдоподобия случайной величины Y по параметру . Оценка ^ параметра осуществляется экспериментально по выборке значений y₁, . . . , y_n случайной величины Y из генеральной совокупности ее значений. При этом исходят из того, что вероятность получить выборку значений y₁, ..., y_n определяется по формуле:

                                 (1.6)

где  - совместная плотность распределения выборки y₁, ..., y_n

в генеральной совокупности значений случайной величины Y.

Из данного выражения следует, что наибольшему значению вероятности (1.6) соответствует максимальное значение функции

                                                  (1.7)

вычисленное по параметру .

  Функция (1.7) называется функцией правдоподобия среднего значения случайной величины Y) и записывается в виде l{/ y₁, . . ., y_n}.Часто применяется также логарифмическая функция правдоподобия, которая позволяет упростить вычисление оценки ^ параметра по выборке y₁, . . . , y_n.

      (1.8)

1.6. Понятие о методе максимального правдоподобия

Метод максимального правдоподобия позволяет получать математические модели, характеризующие существенные свойства изучаемых процессов в виде функции правдоподобия (1.8) с оценкой параметра  по результатам экспериментальных измерений показателя Y.

Для этого необходимо:

* Априори установить характер закона распределения значений величины Y.

* Спланировать эксперимент и провести n опытов, в результате которых должна быть получена выборка y₁, . . . , y_n значений случайной величины Y.

* Определить функцию правдоподобия l{y₁, . . . , y_n } и оценить параметр (в общем случае может быть множество параметров __m).

* На основании полученной оценки ^, или_^_m^) сделать выводы относительно исследуемого показателя Y.

Пример 1. Предположим, что каждый из m стрелявших из пистолета произвел n выстрелов, стреляя по отдельной мишени. Затем наугад выбрана одна из мишеней. При этом в ней было обнаружено r попаданий. О каждом стрелке нам известно, что он способен попасть в мишень при одном выстреле с вероятностью

p_j , j{1, ...,m}.

Необходимо сделать правдоподобное предположение о том, кому из стрелявших вероятнее всего принадлежит выбранная мишень. Очевидно в качестве показателя Y, характеризующего процесс попадания в мишень одним стрелявшим с номером j при n выстрелах, может быть вероятность P_j(^r_n) попасть r раз в мишень для j-го стрелка при n выстрелах. Эта вероятность, как известно, распределена по закону Бернулли:

P(r,n, p_j) = C^r_n p^r_j(1-p_j)^n-r.                            (1.9)

Параметр p^_j, максимизирующий вероятность P(r, n, p_j), позволяет сделать вывод о том, что выбранная мишень с r пробоинами с наибольшей вероятностью принадлежит стрелявшему под номером j, который имеет способность (вероятность) p_j попадать в мишень при одном выстреле наиболее близкую к оценке p^_j.  Для оценки p^_j составляем функцию правдоподобия

  l{p_j, r, n}=p^r_j(1-p_j)^n-r. Данная функция достигает максимума при p^_j = r/n   [15]. Следовательно, наиболее вероятно, что выбранная мишень принадлежит стрелявшему под номером j, соответствующему оценке p^_j=r/n.

Пример 2. Предположим, что задача состоит в том, чтобы оценить вес некоторого предмета посредством взвешивания его на n различных весах приблизительно одинаковой точности. В результате получается выборка  у₁, y₂, . . ., y_n значений оцениваемого показателя Y, характеризующего вес данного предмета.   Y является случайной величиной, распределенной по нормальному закону:

                          (1.10)

где - математическое ожидание величины Y, а ^ - дисперсия этой величины.  Так как по определению ^ характеризует разброс значений y_i относительно математического ожидания то величина ^ не влияет на положение максимума параметра . Поэтому для упрощения вычислений можно положить ^ = 1. Тогда выражение (1.10) приобретает вид:

Отсюда формула правдоподобия параметра  имеет вид:

     (1.11)

(При определении функции правдоподобия постоянные коэффициенты можно опустить)  Функция (1.11) достигает максимума при таком значении для которого сумма

         принимает минимальное значение. Этот факт был использован для разработки широко известного метода оценки параметров математической модели изучаемого процесса, называемого “методом наименьших квадратов”.

  При исследовании сложных систем показатель Y изучаемого свойства может быть функцией от многих факторов x₁, ..., x_n и представлять собой случайную функцию Y = f(x₁, ..., x_n, __m). Задача исследователя состоит в том, чтобы с помощью эксперимента определить такую функцию X, c параметрами __m, которая с наибольшей вероятностью соответствует реальной функции Y.   Согласно принципу максимального правдоподобия полагают, что функция X должна представлять собой множество значений {y_i)}, где E(y_i) - математическое ожидание случайной величины Y в точке X_i (X_i - набор значений факторов x₁, ..., x_n в точке i ).

Функция X обычно представляется в виде линейного относительно параметров __m полинома

  X,_f₀(X) +  ₁f₁(X) + ... +  _mf_m(X),                   (1.12)

который называется уравнением регрессии случайной величины Y.  В случае однофакторной функции Y ее уравнение регрессии может быть представлено в виде разложения в ряд Фурье:

  x,) =  ₀ ¹/₂ +  ₁ Sin (x) +  ₂ Cos (x) + ... ,

или в виде разложение в ряд Тейлора:

 (x,    ₀ +  ₁x +  ₂x² + ... .

В данном случае функция   х,  ) называется линией регрессии.   Когда функция  является многофакторной, применяется разложение в форме полинома (1.12) , где f_i(x) представляет собой комбинацию из n по r факторов x_i {x₁, ..., x_n}. В этом случае число членов в разложении полинома определяется величиной

  ,      а уравнение регрессии, представленное таким полиномом имеет следующий вид:

        ₀(x⁰₁ x⁰₂ ... x⁰_n) +  ₁(x¹₁ x⁰₂ ... x⁰_n) + . . . +  ₂^n-1(x¹₁ ... x¹_n).    (1.13)

Поэтому проблема состоит еще и в том, как выбирать полином (1.12) так, чтобы трудоемкость вычислений была бы по возможности наименьшей. Эта проблема называется планированием эксперимента.   Для того чтобы полиномиальное представление функции       было хорошо обозримым и удобным для вычислений, введем следующие обозначения:

X^Kj = (x_1 ¹,..., x_n ⁿ)_j,

где  _e {0, 1}=A_e, e = 1,...,n, ( ₁,..., _n)_j= K_j {A_1 ... A_n}. Другими словами, K_j - есть двоичное число от (0₁, 0₂, ... , 0_n) до (1₁,1₂, ..., 1_n) .  В силу данных обозначений X^Kj представляет (обозначает) вполне определенную комбинацию переменных x₁, ..., x_n, например, при K_j = (1₁, 0₂, ..., 0_n) X^Kj= x₁, при K_j = (1₁, 1₂, 0₃, ..., 0_n) X^Kj = x₁ x₂ , и так далее. При этом полином (1.13) может быть записан в следующем виде:

       Данное представление позволяет включать в полином только некоторое ограниченное количество членов, обеспечивающее заданную точность. Это может быть использовано для построения эффективных алгоритмов планирования экспериментов и вычисления параметров  ₀,..., _n.    Если случайная величина Y распределена по нормальному закону, то имеет место следующее уравнение:

      из которого логарифмическая функция правдоподобия выборки y₁, ..., y_s случайной величины Y получается в виде:

Чтобы найти значения функции    _{i  } , максимизирующие данную функцию правдоподобия в точках X_i , необходимо решить систему следующих дифференциальных уравнений:

 L{   _{1   } y₁, ..., y_s} /   _j = 0,          j = 1,...,m.

В общем случае эта система имеет следующий вид:

  (1.14)

В результате решения данной системы линейных уравнений получают множество оценок  ^{^}₀,  ^{^}₁, ...,  ^{^}_m параметров  ₀,  ₁, ...,  _m искомой функции    _{i  } . Для решения этой системы обычно применяют матричную алгебру.    Система уравнений (1.14) может быть получена и другим способом. Данный способ основан на предположении, что каждое значение y_i получается из опыта с некоторой погрешностью  _i. При этом имеет место система уравнений

 _i = y_i -    _{i  } ,       i = 1,...,s.

Степень приближения функции    _{i  } к экспериментальным данным

оценивается величиной дисперсии 

Таким образом, приходят к соотношению |S| =  , показывающему, что оценки параметров  _j логарифмической функции правдоподобия S и дисперсии  имеют одинаковые значения в точке экстремума.  Заметим, что данный способ не предполагает никаких ограничений на вид распределения случайной величины Y. Поэтому можно считать, что функция S ( ) годится для оценки параметров функции регрессии    _i,  случайной величины Y при любом законе ее распределения.