3.2.2 Проверка адекватности моделей

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух основных условий:

полученные результаты обладают требуемой точностью и достоверностью;

исследователь способен правильно интерпретировать полученные результаты, и знает, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели и частично – на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает и некоторым дополнительным требованиям, предъявляемым к имитационным моделям.

Оценка качества имитационной модели

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

проверить соответствие модели ее предназначению (целям исследования);

оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

корректным выбором математического аппарата, используемого для описания исследуемой системы;

методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;

наличие нестационарного режима работы модели;

использование нескольких разнотипных математических методов в рамках одной модели;

зависимость результатов моделирования от плана эксперимента;

необходимость синхронизации работы отдельных компонент модели;

наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются: адекватность; устойчивость; чувствительность. Рассмотрим их подробнее.

Оценка адекватности

В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это утверждение справедливо относительно моделей проектируемых систем (то есть в ситуациях, когда реальная система вообще не существует).

Итак, каким же образом можно оценить адекватность разработанной модели реально существующей системе?

Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

по средним значениям откликов модели и системы;

по дисперсиям отклонений откликов модели от среднего значения откликов системы;

по максимальному значению относительных отклонений откликов модели от откликов системы.

Названные способы оценки достаточно близки между собой, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y_р. В результате N опытов на реальной системе получают множество значений (выборку) Y_р. Выполнив N экспериментов на модели, также получают множества значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y_р и Y (в статистическом смысле). Основой для проверки гипотезы является t-статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением t_кр, взятым из справочной таблицы. Если выполняется неравенство t_н<t_кр, то гипотеза принимается.

Необходимо еще раз подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным. Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель.

В этом случае проверку адекватности модели целесообразно производить методом оценки расхождения эмпирического закона распределения, определенного по результатам моделирования, с некоторым предполагаемым теоретическим законом распределения характеристик исследуемой системы. Пусть результаты моделирования представляют собой случайную выборку объема n из некоторого распределения вероятностей с неизвестной функцией распределения. Пусть – некоторая фиксированная предполагаемая функция распределения, например, задаваемая требованиями имитационной модели. Определяются простая гипотеза и сложная альтернатива общего вида .

Задача проверки адекватности модели заключается в построении критерия для проверки по выборке с заданным уровнем значимости . Гипотеза означает, что результаты моделирования согласуются с распределением , и поэтому она называется гипотезой согласия. Критерий для проверки называется критерием согласия. Далее рассмотрим два основных критерия согласия: – критерий Пирсона и критерий Колмогорова.

критерий согласия Пирсона. Пусть, как и при построении гистограммы, согласно (6.4) вычислены частоты попадания выборочных значений в ячейки гистограммы и соответствующие гипотетические вероятности попадания в ячейки, если верна :

.

Статистикой для задачи проверки адекватности модели называется статистика

. (3.14)

Статистика (6.7) характеризует взвешенную сумму квадратов уклонений относительно частот от гипотетических значений . Чем больше , тем сильнее выборка не согласуется с гипотезой .

– критерий согласия Пирсона основан на (6.7) и имеет вид:

принимается гипотеза (3.15)

где – функция – распределения с степенью свободы, – уровень значимости. Статистика называется – значением. Основное свойство критерия (3.15) выражается следующей теоремой.

Теорема. Если , то при асимптотический размер (вероятность ошибки I рода) критерия (3.15) совпадает с наперёд заданным уровнем значимости .

Таким образом, при увеличении числа прогонов гарантируется заданный уровень надёжности решений. Чтобы повысить скорость сходимости вероятности ошибки первого рода , необходимо воспользоваться произволом в выборе числа ячеек и границ таким образом, чтобы .

Критерий согласия Колмогорова. Пусть согласно (3.10) по результатам моделирования вычислена выборочная функция распределения , а гипотетическая функция распределения – непрерывна. Статистика

(3.16)

называется расстоянием Колмогорова между и .

Отметим важное свойство статистики (3.16).

Теорема. Если верна и – непрерывная функция, то распределение вероятностей статистики не зависит от конкретного вида :

, , (3.17)

где

(3.18)

выборочная функция распределения, вычисленная по случайной выборке объема из стандартного равномерного распределения .

Ценность этого свойства состоит в том, что не зависит от , является некоторым стандартным вероятностным распределением, по которому составлены таблицы для каждого значения . Кроме того, это распределение при большом n описывается распределением Колмогорова

. (3.19)

Сходимость (3.19) достаточно быстрая и функцию распределения Колмогорова из (3.19) рекомендуется использовать, начиная с . Поэтому критерий согласия Колмогорова, основанный на свойствах статистики , имеет вид:

принимается гипотеза (3.20)

где – уровень значимости.