3.1.2 Стратегическое планирование эксперимента

Отыскание комбинаций уровней внешних и внутренних факторов, при которых может быть получена наиболее полная и достоверная информация о поведении системы составляет ядро данного вида планирования.

Для этого должны быть решены две основные задачи:

идентификация факторов;

выбор уровней факторов.

Из опыта известно, что для большинства систем 20% факторов определяют 80% свойств системы, а остальные 80% факторов определяют лишь 20% свойств системы [1].

Поэтому при идентификации факторов производится их ранжирование по степени влияния на значение наблюдаемой переменной (показателя эффективности).

По итогам идентификации все факторы делят на две группы – первичные и вторичные. Первичные – это те факторы, в исследовании влияния которых экспериментатор заинтересован непосредственно. Вторичные факторы не являются предметом исследования, но влиянием их нельзя пренебречь.

Выбор уровней факторов главным образом связан с определением интервалов между уровнями каждого из факторов [7]. Критерием выбора величины интервалов выступает и относительная точность данных на различных участках области исследуемых значений, и характер экспериментальной функции. Кроме того, при определении числа уровней факторов учитывают возможный диапазон изменения факторов и объем моделирования, который не должен быть чрезмерным.

Способы построения стратегического плана. Эксперимент, в котором реализуются все возможные комбинации уровней факторов, называется полным факторным экспериментом (ПФЭ).

Общее число N различных комбинаций уровней в ПФЭ для k факторов можно вычислить как:

,

где – число уровней i-го фактора.

Если число уровней для всех факторов одинаково, то (L – число уровней).

Недостаток ПФЭ – большие временные затраты на подготовку и проведение эксперимента. Например, если в модели отражены 3 фактора, влияющие на значение выбранного показателя эффективности, каждый из которых имеет 4 возможных уровня (значения), то план проведения ПФЭ будет включать 64 эксперимента. Если при этом каждый из них длится хотя бы одну минуту (с учетом времени на изменение значений факторов), то на однократную реализацию ПФЭ потребуется более часа.

Поэтому использование ПФЭ целесообразно только в том случае, если в ходе имитационного эксперимента исследуется взаимное влияние всех факторов, фигурирующих в модели.

Если взаимное влияние факторов отсутствует или их эффектом можно пренебречь, то проводят частичный факторный эксперимент (ЧФЭ). К ним относятся [3]:

рандомизированный план;

латинский план;

классический план;

дробный факторный эксперимент.

Рандомизированный план – предполагает выбор сочетаний уровней для каждого прогона случайным образом. При использовании этого метода отправной точкой в формировании плана является число экспериментов, которые считает возможным (или необходимым) провести исследователь.

Латинский план (или «латинский квадрат») – используется в том случае, когда проводится эксперимент с одним первичным фактором и несколькими вторичными. Суть такого планирования состоит в следующем. Если первичный фактор А имеет 1 уровней, то для каждого вторичного фактора также выбирается 1 уровней. Выбор комбинации уровней факторов выполняется на основе специальной процедуры, которую мы рассмотрим на примере.

Пусть в эксперименте используется первичный фактор А и два вторичных фактора – В и С, число уровней факторов 1 равно 4. Соответствующий план можно представить в виде квадратной матрицы размером 1х1 (4х4) относительно уровней фактора А. при этом матрица строится таким образом, чтобы в каждой строке и в каждом столбце данный уровень фактора А встречался только один раз:

___________________________________________________________________________

Значение фактора В Значение фактора С

С1 С2 С3 С4

_____________________________________________________________________________

В1 А1 А2 А3 А4

В2 А2 А3 А4 А1

В3 А3 А4 А1 А2

В4 А4 А1 А2 А3

__________________________________________________________________

В результате имеет место план, требующий 4х4=16 прогонов, в отличие от ПФЭ, для которого нужно 4 ³ = 64 прогона.

Классический план – это эксперимент с изменением факторов по одному. Суть его состоит в том, что один из факторов «пробегает» все l уровней, а остальные k-1 факторов поддерживаются постоянными. Такой план обеспечивает исследование эффектов каждого фактора в отдельности. Он требует всего прогонов (l _i– число уровней i-го фактора).

Для рассмотренного выше примера (3 фактора, по 4 уровня каждый) N=4+4+4=12. Еще раз подчеркнем, что такой план применим (как и любой ЧФЭ) только при отсутствии взаимодействия между факторами.

Дробный факторный эксперимент. Каждый фактор имеет два уровня – нижний и верхний, поэтому общее число вариантов эксперимента N=2 , где k – число факторов. Матрица плана для k=2 приведена ниже.

Матрица плана для k=2

__________________________________________________________________

Номер эксперимента Значение факторов

Х₁ Х₂

__________________________________________________________________

1 0 0

2 0 1

3 1 0

4 1 1

__________________________________________________________________

Планы, построенные по такому принципу, обладают свойствами: симметричности, нормированности и ортогональности, что обеспечивает повышение качества проводимых экспериментов.

3.1.3 Обеспечение точности и достоверности результатов моделирования

Тактическое планирование эксперимента с машинной моделью системы связано с вопросами эффективного использования выделенных для эксперимента машинных ресурсов и определением конкретных способов проведения испытаний модели, намечен­ных планом эксперимента, построенным при стратегическом планировании. Тактическое планирование машинного эксперимента свя­зано, прежде всего, с решением следующих проблем [2]:

определение начальных условий и их влияния на достижение установившегося результата при моделировании;

обеспечение точности и достове­рности результатов моделирования;

уменьшение дисперсии оце­нок искомых характеристик;

выбор правил автоматической остановки имитационного эксперимента с моделями систем.

Первая проблема при проведении машинного эксперимента возникает всле­дствие искусственного характера процесса функционирования моде­ли, которая в отличие от реальной системы работает эпизоди­чески, т. е. только когда экспериментатор запускает машинную модель и проводит наблюдения. Поэтому всякий раз, когда начина­ется очередной прогон модели процесса функционирования системы, требуется определенное время для достижения условий равнове­сия, которые соответствуют условиям функционирования реальной системы.

Таким образом, начальный период работы машинной модели искажается из-за влияния начальных условий запуска модели. Для решения этой проблемы либо исключается из рассмот­рения информация о модели, полученная в начальной части периода моделирования, либо начальные условия выбираются так, чтобы сократить время достижения установившегося режима. Все эти приемы позволяют только уменьшить, но не свести к нулю время переходного процесса при проведении машинного экспериме­нта с моделью.

Обеспечение точности и достоверности. Решение второй проблемы тактического планирования машинного эксперимента связано с оценкой точности и достовер­ности результатов моделирования при заданном числе реализаций или с необ­ходимостью оценки необходимого числа реализаций при заданных значениях точности и достоверности результатов моделирования системы.

Как уже отмечалось, статистическое моделирование системы это эксперимент с машинной моделью. Обработка ре­зультатов подобного имитационного эксперимента принципиально не может дать точных значений показателя эффективности Е системы в лучшем случае можно получить только некоторую оценку Е такого показателя. При этом экономические вопросы затрат людских и машинных ресурсов, обосновывающие целесооб­разность статистического моделирования вообще, оказываются тесно связанными с вопросами точности и достоверности оценки показателя эффективности Е системы на ее модели.

Таким образом, количество реализаций N при статистическом моделировании системы должно выбираться исходя из двух ос­новных соображений: определения затрат ресурсов на машинный эксперимент с моделью (включая построение модели и ее ма­шинную реализацию) и оценки точности и достоверности резуль­татов эксперимента с моделью системы (при заданных ограниче­ниях не ресурсы). Очевидно, что требования получения более хоро­ших оценок и сокращения затрат ресурсов являются противоре­чивыми и при планировании машинных экспериментов на базе статистического моделирования необходимо решить задачу нахож­дения разумного компромисса между ними.

Из-за наличия стохастичности и ограниченности числа реализа­ций N в общем случае . При этом величину называют абсолютной точностью оценки. Вероятность того, что неравенство , (3.1)

выполняется, называется достоверностью оценки, т.е.

. (3.2)

Величина ₀= /Е называется относительной точностью оценки, а достоверность оценки соответственно будет иметь вид

|(Е- )/Е|< }.

Для того, чтобы при статистическом моделирование системы по заданным Е (или Е_о) и Q определить количество реализаций N или, наоборот, при ограниченных ресурсах (известном N) найти необходимые Е и Q, следует детально изучить соотношение (3.2). Сделать это можно не во всех случаях, так как закон распределения вероятностей величины |Е- | для многих практических случаев исследования систем установить не удается либо в силу ограничен­ности априорных сведений о системе, либо из-за сложности вероятностных расчетов. Основным путем преодоления подобных трудностей является выдвижение предположений о характере зако­нов распределения случайной величины , т. е. оценки показателя эффективности системы.

Рассмотрим взаимосвязь точности и достоверности результатов с количеством реализаций при машинном эксперименте, когда в ка­честве показателей эффективности Е выступают вероятность р, математическое ожидание а и дисперсия ².

Пусть цель машинного эксперимента с моделью некоторой системы — получение оценки вероятности появления р=Р(А) некоторого события А, определяемого состояниями процесса функ­ционирования исследуемой системы. В качестве оценки вероят­ности p в данном случае выступает частота =m/N, где т — число положительных исходов.

Тогда соотношение (3.2), связывающее точность и достоверность оценок с количеством реализаций, будет иметь вид

. (3.3)

Для ответа на вопрос о законе распределения величины =m/N представим эту частоту в виде

_,

так как количество наступлений события А в данной реализации из N реализа­ций является случайной величиной , принимающей значения х₁ = 1 с вероятностью р и х₂=0 с вероятностью 1 - р.

Математическое ожидание и дисперсия случайной величины будут таковы:

Тогда

Это соотношение говорит о несмещенности оценки для вероят­ности р. С учетом независимости значений величин получим

В силу центральной предельной теоремы теории вероятностей частоту m/N при достаточно больших N можно рассматривать как случай­ную величину, описываемую нормальным законом распределения вероятностей с математическим ожиданием р и дисперсией p(1-p)/N. Поэтому соотношение (5.3) можно перепи­сать так:

Учитывая, что получим

Тогда

где — квантиль нормального распределения вероятностей порядка ; находится из специальных таблиц.

В результате точность оценки вероятности р можно опреде­лить как

т. е. точность оценки вероятностей обратно пропорциональна .

Из соотношения для точности оценки можно вычислить коли­чество реализаций

(3.4)

для получения оценки с точностью и достовер­ностью Q.

Пример. Необходимо рассчитать количество реализаций N при статистичес­ком моделировании системы, когда в качестве показателя эффективности исполь­зуется вероятность р при достоверности и точности =0,01; 0,02; 0,05. Так как значения р до проведения статистического моделирования системы неизвестно, то вычислим множество оценок N для диапазона возможных значений р, т. е. от 0 до 1 с дискретом в 0,1. Результаты расчетов с использованием выражения (3.4) представлены в табл.1. Из таблицы видно, что при переходе от к количество реализаций N возрастает примерно в три раза, а при переходе от к количество реализаций N возрастает примерно в 25 раз [2].

Таблица 1

Вероятность р	Точность
	0,05	0,02	0,01
0,1 (0,9) 0,2 (0,8) 0,3 (0,7)	140	900	3600
	250	1500	6200
	330	2100	8400
0,4 (0,6) 0,5 (0,5)	380	2300	9400
	390	2400	9800

При тактическом планировании машинного эксперимента, когда решается вопрос о выборе количества реализаций N, значение р не­известно. Поэтому на практике проводят предварительное модели­рование для произвольно выбранного значения N₀, определяют а затем по (3.4) вычисляют, используя вместо р значение р₀, необходимое количество реализаций N. Такая процедура оценки N может выполняться несколько раз в ходе машинного эксперимен­та с системой.

При отсутствии возможности получения каких-либо априорных сведений о вероятности р использование понятия абсолютной точности теряет смысл. Действительно, можно, например, предварите­льно задать точность результатов моделирования =0,01, а ис­комая р в результате окажется хотя бы на порядок ниже, т. е. В таких случаях целесообразно задавать относительную точность результатов моделирования . Тогда соотношение (3.4) примет вид

N=t_φ² (1-p)/(ε₀ p). (3.5)

Соотношение (3.5) наглядно иллюстрирует специфику статисти­ческого моделирования систем, выражающуюся в том, что для оценивания малых вероятностей р с высокой точностью необходи­мо очень большое число реализаций N. На практике для оценки вероятностей с порядком в количество реализаций целесообразно выбирать равным Очевидно, что даже для срав­нительно простых систем метод статистического моделирования приводит к большим затратам машинного времени.

Другим распространенным случаем в практике машинных экс­периментов с моделью является необходимость оценки показа­телей эффективности Е системы по результатам определения среднего значения некоторой случайной величины. Пусть случайная величина имеет математическое ожидание и дисперсию . В реализации с номером она принимает значение . В качестве оценки математического ожидания а используется средне – арифметическое значение выборки

.

В силу центральной предельной теоремы теории вероятностей

при больших значениях N средне – арифметическое будет иметь распределение, близкое к нормальному с математическим ожидани­ем а и дисперсией . Для математического ожидания а точность оценки равна а количество реализаций

или . (3.6)

Аналогично, если в качестве показателя эффективности Е систе­мы выступает дисперсия , а в качестве ее оценки используется величина S², то математическое ожидание и дисперсия соответст­венно будут

где - центральный момент четвертого порядка случайной вели­чины.

Для дисперсии точность оценки

Отсюда количество реализаций будет

или (3.7)

Для частного случая, когда случайная величина имеет нормаль­ное распределение при получим

Таким образом, на основании соотношений (3.4) — (3.7) можно сделать вывод, что количество реализаций при статистическом мо­делировании существенно зависит от дисперсии оцениваемой слу­чайной величины. Поэтому выгодно выбирать такие оцениваемые показатели эффективности Е системы, которые имеют малые дисперсии.

Уменьшение дисперсии оценок. Основным недостатком методов планирования экспериментов, на основе использовании простой случайной выборки, является медленная сходимость выборочных средних к истинным средним с ростом объема выборки N. Это приводит к необходимости использования методов уменьшения ошибок, не требующих увеличения N. Такие методы называются методами понижения дисперсии и делятся на три группы [3]:

активные (предусматривают формирование выборки специальным образом;

пассивные (применяются после того, как выборка уже сформирована);

косвенные (в них для получения оценок наблюдаемой переменной используются значения некоторых вспомогательных величин).

Активных методов понижения дисперсии известно достаточно много. Выбор конкретного метода определяется, как правило, спецификой модели и целями эксперимента. Рассмотрим те из них, которые направлены на снижение влияния переходного периода. Выбор объясняется тем, что наличие и длительность переходного режима оказывают существенное влияние на точность результатов моделирования. Вместе с тем, большинство ИМ используется для изучения функционирования системы в установившемся режиме.

Существуют три основных метода уменьшения ошибок, обусловленных наличием переходного периода:

значительное увеличение длительности прогона;

исключение из рассмотрения переходного периода;

инициализация модели при некоторых специально выбранных начальных условиях.

На практике снижения влияния переходного периода обычно добиваются одни из следующих способов: методом повторения; методом подинтервалов; методом циклов.

Метод повторения. При использовании этого метода каждое наблюдение получается при помощи отдельного прогона модели, причем все прогоны начинаются при одних и тех же начальных условиях, но используются различные последовательности случайных чисел. Преимуществом метода является статистическая независимость получаемых наблюдений. Недостаток состоит в том, что наблюдения могут оказаться сильно смещенными под влиянием начальных условий.

Метод подинтервалов. Данный метод основан на разбиении каждого прогона модели на равные промежутки времени. Начало каждого интервала совпадает с началом очередного этапа наблюдений (на рис.3.1 в качестве наблюдаемой переменной используется длина очереди заявок – Q).

Рис.3.1 Пример использования метода подинтервалов

Достоинство метода состоит в том, что влияние переходных условий со временем уменьшается, и наблюдения точнее отражают поведение системы в стационарном режиме. Недостаток – значения наблюдаемых переменных, полученных в начале очередного интервала, зависят от конечных условий предыдущего интервала (т.е. между интервалами имеется автокорреляция).

Метод циклов. При использовании метода циклов влияние автокорреляции уменьшается за счет выбора интервалов таким образом, чтобы в их начальных точках условия были одинаковыми. Например, в качестве таких условий можно рассматривать длину очереди заявок на обслуживание. В этом случае удобно совмещать начало очередного интервала с моментом, когда длина очереди становится равной нулю. Недостатком метода является меньшее по сравнению с методом подинтервалов число получаемых наблюдений.

Метод стратифицированной выборки. Данный метод относится к группе пассивных методов понижения дисперсии. Пассивные методы влияют на подготовку и проведение эксперимента, но реализуются на этапе обработки и анализа результатов моделирования. Суть метода стратифицированной выборки состоит в следующем.

Выборка разделяется на части, называемые слоями (стратами). При этом необходимо, чтобы значения элементов выборки как можно меньше различались внутри одного слоя и как можно больше – между различными слоями. Внутри каждого слоя производят случайный отбор элементов и вычисляют среднее значение слоя y_i. Полученные оценки используют для вычисления МОЖ по выборке в целом:

,

где N, – объем выборки и i-го слоя соответственно; k – число слоев.

Если считать, что оценки независимы, то дисперсия по выборке в целом равна:

.

Здесь – дисперсия для i-го слоя.

При удачном выборе слоев величины будут малы, а значит, и выборочная дисперсия D_y будет предпочтительнее, чем для оценки, полученной методами простой случайной выборки.

Косвенные методы понижения дисперсии основаны на том, что зачастую некоторые из выходных характеристик модели получить (вычислить) легче, чем другие. Их использование предполагает не только весьма глубокое знание сущности процессов, протекающих в системе, но и наличие формального описания взаимной зависимости параметров модели.