Глава 7

ОБРАБОТКА И АНАЛИЗ РЕЗУЛЬТАТОВ

МОДЕЛИРОВАНИЯ СИСТЕМ

Концепция статистического моделирования систем в реализационном плане неразрывно связана с ограниченностью ресурсов инструментальных ЭВМ. По­этому ори рассмотрении теоретических проблем машинной имитации, относя­щихся в основном к разделу математической статистики, необходимо учиты­вать особенности и возможности текущей обработки экспериментальной инфор­мации на ЭВМ. Успех имитационного эксперимента с моделью системы сущест­венным образом зависит от правильного решения вопросов обработки и после­дующего анализа и интерпретации результатов моделирования. Особенно важ­но решить проблему текущей обработки экспериментальной информации при использовании модели для целей автоматизации проектирования систем.

7.1. Особенности фиксации и статистической обработки результатов моделирования систем на эвм

После того как машинный эксперимент спланирован, необходи­мо предусмотреть меры по организации эффективной обработки и представления его результатов. Вообще, проблема статистической обработки результатов эксперимента с моделью тесно связана с рассмотренными в гл. 6 проблемами стратегического и тактичес­кого планирования. Но важность этой проблемы и наличие специ­фики в машинной обработке результатов моделирования выделяют ее в самостоятельную проблему. При этом надо иметь в виду, что применяемые на практике методы обработки результатов модели­рования составляют только небольшую часть арсенала математи­ческой статистики [7, 11, 18, 21 25, 33].

Особенности машинных экспериментов. При выборе методов об­работки существенную роль играют три особенности машинного эксперимента с моделью системы S.

1. Возможность получать при моделировании системы S на ЭВМ большие выборки позволяет количественно оценить харак­теристики процесса функционирования системы, но превращает в серьезную проблему хранение промежуточных результатов моде­лирования. Эту проблему можно решить, используя рекуррентные алгоритмы обработки, когда оценки вычисляют по ходу моделиро­вания, причем большой объем выборки дает возможность пользо­ваться при этом достаточно простыми для расчетов на ЭВМ асимп­тотическими формулами.

2. Сложность исследуемой системы S при ее моделировании на ЭВМ часто приводит к тому, что априорное суждение о харак­теристиках процесса функционирования системы, например о типе ожидаемого распределения выходных переменных, является невоз­можным. Поэтому при моделировании систем широко используются непараметрические оценки и оценки моментов распределения.

3. Блочность конструкции машинной модели М_м и раздельное исследование блоков связаны с программной имитацией входных переменных для одной частичной модели по оценкам выходных переменных, полученных на другой частичной модели. Если ЭВМ, используемая для моделирования, не позволяет воспользоваться переменными, записанными на внешние носители, то следует пред­ставить эти переменные в форме, удобной для построения алгорит­ма их имитации.

Методы оценки. Рассмотрим наиболее удобные для про­граммной реализации методы оценки распределений и некоторых их моментов при достаточно большом объеме выборки (числе реализаций N). Математическое ожидание и дисперсия случайной величины I; соответственно имеют вид

где ƒ (х) — плотность распределения случайной величины ξ, прини­мающей значения х.

При проведении имитационного эксперимента со стохастической моделью системы S определить эти моменты нельзя, так как плот­ность распределения, как правило, априори неизвестна. Поэтому при обработке результатов моделирования приходится довольст­воваться лишь некоторыми оценками моментов, полученными на конечном числе реализаций N. При независимых наблюдениях зна­чений случайной величины £ в качестве таких оценок используются

где х и Sb² — выборочное среднее и выборочная дисперсия соответ­ственно. Знак ~ над μ_ξ и σ_ξ² означает, что эти выборочные моменты используются в качестве оценок математического ожидания μξ и ди­сперсии σ ².

К качеству оценок, полученных в результате статистической обработки результатов моделирования, предъявляются следующие требования [7, 11, 25]:

1) несмещенность оценки, т. е. равенство математического ожидания оценки определяемому параметру М [g̃] = g, где g̃ оценка переменной (параметра) g;

2) эффективность оценки, т. е. минимальность среднего квадрата ошибки данной оценка М [g̃₁ - g] ≤ M [(g̃_i - g)²], где g̃₁ - рассматриваемая оценка; g̃_i - любая другая оценка;

3) состоятельность оценки, т. е. сходимость по вероятности при N → ∞ к оцениваемому параметру

либо, учитывая неравенство Чебышева, достаточное (но не обязательно необходи­мое) условие выполнения этого неравенства заключается в том, чтобы

lim M[(g-gf)]=0.

N → ∞

Рассмотрим оценку выборочного среднего значения х. Математическое ожида­ние выборочного среднего значения х составит

получим M[S_b²]=(Nσ²—σ²_ξ)/N=(N—l)σ²_ξ/N, т. е. оценка σ²_ξ = S²_b является смещенной. Можно показать, что эта оценка состоятельна и эффективна.

Несмещенную оценку дисперсии, σ² можно получить, вычисляя выборочную дисперсию вида

Эта оценка также удовлетворяет условиям эффективности и состоятельности.

Статистические методы обработки. Рассмотрим некоторые осо­бенности статистических методов, используемых для обработки результатов моделирования системы S. Для случая исследования сложных систем при большом числе реализаций N в результате моделирования на ЭВМ получается значительный объем инфор­мации о состояниях процесса функционирования системы. Поэтому необходимо так организовать в процессе вычислений фиксацию и обработку результатов моделирования, чтобы оценки для искомых характеристик формировались постепенно по ходу модели­рования, т. е. без специального запоминания всей информации о состояниях процесса функционирования системы 5.

Если при моделировании процесса функционирования конкрет­ной системы S учитываются случайные факторы, то и среди резуль­татов моделирования присутствуют случайные величины. В качест­ве оценок для искомых характеристик рассчитывают средние значе­ния, дисперсии, корреляционные моменты и т. д.

Пусть в качестве искомой величины фигурирует вероятность некоторого события А. В качестве оценки для искомой вероятности р=Р(А) используется частность наступления события m/N, где т — число случаев наступления события А; N — число реализаций. Такая оценка вероятности появления события А является состо­ятельной, несмещенной и э

эффективной. В случае необходимости получения оценки вероятности в памяти ЭВМ при обработке ре­зультатов моделирования достаточно накапливать лишь число т (при условии, что N задано заранее).

Аналогично при обработке результатов моделирования можно подойти к оценке вероятностей возможных значений случайной величины, т. е. закона распределения. Область возможных значений случайной величины η разбивается на п интервалов. Затем накап­ливается количество попаданий случайной величины в эти интерва­лы mк, k = l, n. Оценкой для вероятности попадания случайной величины в интервал с номером к служит величина mk/N. Таким образом, при этом достаточно фиксировать п значений т_к при обработке результатов моделирования на ЭВМ.

Для оценки среднего значения случайной величины ц накаплива­ется сумма возможных значений случайной величины у к, к=1, N, которые она принимает при различных реализациях. Тогда среднее

При этом ввиду несмещенности и состоятельности оценки

В качестве оценки дисперсии случайной величины η при обработ­ке результатов моделирования можно использовать

Непосредственное вычисление дисперсии по этой формуле нера­ционально, так как среднее значение у изменяется в процессе накоп­ления значений у_k Это приводит к необходимости запоминания всех N значений у_k Поэтому более рационально организовать фиксацию результатов моделирования для оценки дисперсии с исполь­зованием следующей формулы:

Тогда для вычисления дисперсии достаточно накапливать две суммы: значений ук и их квадратов у_k².

Для случайных величин ξ и η с возможными значениями х_к и у_к корреляционный момент

Последнее выражение вычисляется при запоминании в процессе моделирования небольшого числа значений.

Если при моделировании системы S искомыми характеристи­ками являются математическое ожидание и корреляционная функ­ция случайного процесса y(t) [в интервале моделирования (О, Т)], то для нахождения оценок этих величин указанный интервал разбива­ют на отрезки с постоянным шагом At и накапливают значения процесса y_k(t) для фиксированных моментов времени t=t_m=mΔt.

При обработке результатов моделирования математическое ожидание и корреляционную функцию запишем так:

где u и z пробегают все значения t_m.

Для уменьшения затрат машинных ресурсов на хранение проме­жуточных результатов последнее выражение также целесообразно привести к следующему виду:

Отметим особенности фиксации и обработки результатов моде­лирования, связанные с оценкой характеристик стационарных слу­чайных процессов, обладающих эргодическим свойством. Пусть рассматривается процесс y{t). Тогда с учетом этих предположений поступают в соответствии с правилом: среднее по времени равно среднему по множеству. Это означает, что для оценки искомых характеристик выбирается одна достаточно продолжительная реализация процесса y(t), для которой целесообразно фиксировать результаты моделирования. Для рассматриваемого случая запишем математическое ожидание и корреляционную функцию процесса:

На практике при моделировании на ЭВМ системы S интервал (О, Т) оказывается ограниченным и, кроме того, значения y(t) удается определить только для конечного набора моментов времени t_m. При обработке результатов моделирования для получения оценок у и В(х) используем приближенные формулы

которые целесообразно преобразовать к виду, позволяющему эф­фективно организовать порядок фиксации и обработки результатов моделирования на ЭВМ [4].

Задачи обработки результатов моделирования. При обработке результатов машинного эксперимента с моделью М_ы наиболее ча­сто возникают следующие задачи: определение эмпирического зако­на распределения случайной величины, проверка однородности рас­пределений, сравнение средних значений и дисперсий переменных, полученных в результате моделирования, и т. д. Эти задачи с точки зрения математической статистики являются типовыми задачами по проверке статистических гипотез.

Задача определения эмпирического закона распределения слу­чайной величины наиболее общая из перечисленных, но для пра­вильного решения требует большого числа реализаций N. В этом случае по результатам машинного эксперимента находят значения выборочного закона распределения F_э(y) (или функции плотности ƒ_э y)) и выдвигают нулевую гипотезу Н_о, что полученное эмпиричес­кое распределение согласуется с каким-либо теоретическим рас­пределением. Проверяют эту гипотезу Н_о с помощью статистичес­ких критериев согласия Колмогорова, Пирсона, Смирнова и т. д., причем необходимую в этом случае статистическую обработку ре­зультатов ведут по возможности в процессе моделирования систе­мы S на ЭВМ.

Для принятия или опровержения гипотезы выбирают некоторую случайную величину U, характеризующую степень расхождения теоретического и эмпирического распределения, связанную с недо­статочностью статистического материала и другими случайными причинами. Закон распределения этой случайной величины зависит от закона распределения случайной величины η и числа реализаций N при статистическом моделировании системы S. Если вероятность расхождения теоретического и эмпирического распределений P{U_T ≥ U} велика в понятиях применяемого критерия согласия, то проверяемая гипотеза о виде распределения H₀ не опровергается. Выбор вида теоретического распределения F(y) (или ƒ y) проводит­ся по графикам (гистограммам) F_э(y) (или ƒ ₃(у)), выведенным на печать или на экран дисплея

. Рассмотрим особенности использования при обработке резуль­татов моделирования системы S на ЭВМ ряда критериев согласия [7,11,18,21,25].

Критерий согласия Колмогорова. Основан на выборе в качестве меры расхождения U величины D = max [F_э(y) - F(y)].

Из теоремы Колмогорова следует, что δ = D √N при N → ∞ имеет функцию распределения

Если вычисленное на основе экспериментальных данных значение δ меньше, чем табличное значение при выбранном уровне значимости у, то гипотезу Н_о принимают, в противном случае расхождение между F₃(y) и F(y) считается неслучайным гипо­теза Н_о отвергается.

Критерий Колмогорова для обработки результатов моделирования целесообраз­но применять в тех случаях, когда известны все параметры теоретической функции распределения. Недостаток использования этого критерия связан с необходимостью фиксации в памяти ЭВМ для определения D всех статистических частот с целью их упорядочения в порядке возрастания.

Критерий согласна Пирсона. Основан на определении в качестве меры расхожде­ния U величины

где mi,- — количество значений случайной величины ц, попавших в i-й. подынтервал; Pi — вероятность попадания случайной величины η в i-й подынтервал, вычисленная из теоретического распределения; d — количество подынтервалов, на которые раз­бивается интервал измерения в машинном эксперименте.

При N→oo закон распределения величины U, являющейся мерой расхождения, зависит только от числа подынтервалов и приближается к закону распределения х (хи-квадрат) с (d—r—1) степенями свободы, где г — число параметров теоретиче­ского закона распределения.

Из теоремы Пирсона следует, что, какова бы не была функция распределения F(y) случайной величины η , при N →∞ распределение величины х² имеет вид

где Г(k/2)- гамма-функция; z - значение случайной величины χ²; k = d - r - 1 - число степеней свободы. Функции распределения F_k(z) табулированы.

По вычисленному значению U = χ² и числу степеней свободы k с помощью таблиц находится вероятность Р {χ² ≥ χ²}. Если эта вероятность превышает некоторый уровень значимости γ, то считается, что гипотеза H₀ о виде распределения не опровергается результатами машинного эксперимента.

Критерий согласия Смирнова. При оценке адекватности машинной модели М_м реальной системе S возникает необходимость проверки гипотезы Н₀, заключающейся в том, что две выборки принадлежат той же генеральной совокупности. Если выборки независимы и законы распределения совокупностей F(u) и F(z), из которых извлечены выборки, являются непрерывными функциями своих аргументов v и ξ, то для проверки гипотезы Н₀ можно использовать критерий согласия Смирнова, применение которого сводится к следующему. По имеющимся результатам вычисляют эмпирические функции распределения F_э(и) и F_э(z) и определяют

Затем при заданном уровне значимости у находят допустимое отклонение

где N₁ и N₂ - объемы сравниваемых выборок для F_э(и) и F_э(z), и проводят сравнение значений D и D_γ,: если D > D_γ, то нулевую гипотезу H₀ о тождественности законов распределения F(u) и F(z) с доверительной вероятностью β = 1 - γ отвергают.

Критерий согласия Стьюдента. Сравнение средних значений двух независимых выборок, взятых из нормальных совокупностей с неизвестными, но равными дисперсиями D [v] = D [ξ], сводится к проверке нулевой гипотезы H₀: Δ = и - z = 0 на основании критерия согласия Стьюдента (t-критерия). Проверка по этому критерию сводится к выполнению следующих действий. Вычисляют оценку

где N₁ и N₂ - объемы выборок для оценки и и z соответственно; σ̃²_v и σ̃²_ξ - оценки дисперсий соответствующих выборок.

Затем определяют число степеней свободы k = N₁ + N₂ - 2, выбирают уровень значимости γ и по таблицам находят значение t_γ. Расчетное значение t сравнивается с табличным t_γ и если |t| < t_γ, то гипотеза Н₀ не опровергается результатами машинного эксперимента.

Критерий согласна Фишера. Задача сравнения дисперсий сводится к проверке нулевой гипотезы Н₀, заключающейся в принадлежности двух выборок к одной и той же генеральной совокупности. Пусть необходимо сравнить две дисперсии σ̃²₁ и σ̃²₂, полученные при обработке результатов моделирования и имеющие k₁ и k₂ степеней свободы соответственно, причем σ̃²₁ > σ̃²₂. Для того чтобы опровергнуть нулевую гипотезу Н₀: σ̃²₁ = σ̃²₂, необходимо при уровне значимости у указать значимость расхождения между σ̃²₁ и σ̃²₂. При условии независимости выборок, взятых из нормальных совокупностей, в качестве критерия значимости используется распределение Фишера (F-критерий) F = σ²₁/σ²₂, которое зависит только от числа степеней свободы

объемы выборок для оценки σ²₁ и σ²₂ соответственно.

Алгоритм применения критерия Фишера следующий: 1) вычисляется выборочное отношение F = σ̃²₁/σ̃²₂; 2) определяется число степеней свободы k₁ = N₁ - 1 и k₂ = N₂ - 1; 3) при выбранном уровне значимости у по таблицам F-распределения находятся значения границ критической области F₁ = 1/[F_{1 - γ/2} (k₁, k₂)]; F₂ = F_{1 - γ/2} (k₁, k₂); 4) проверяется неравенство F₁ ≤ 1 ≤ F₂; если это неравенство выполняется, то с доверительной вероятностью β нулевая гипотеза Н₀: σ²₁ = σ²₂ может быть принята.

Хотя рассмотренные оценки искомых характеристик процесса функционирования системы S, полученные в результате машинного эксперимента с моделью М_м, являются простейшими, но охватывают большинство случаев, встречающихся в практике обработки результатов моделирования системы для целей ее исследования и проектирования.