6.2.Многошаговые решения

Многошаговый процесс принятия решений характеризуется особенностями, которые выходят за рамки описанного одношагового процесса. В общем случае объем влияющей на решение

Рис.6.2. Процесс выбора решения согласно производным критериям

Рис.6.3. Процесс выбора решения согласно гибкому критерию

информации возрастает с течением времени. При принятии ре­шений в области конструирования новая информация получает­ся или из результатов параллельно проводимых исследований, или благодаря появлению изобретений, которые стимулируют создание нового оборудования. Всякое исследование с этой точ­ки зрения, безусловно, лучше рассматривать в момент, как можно более близкий к его завершению и реализации. Если, например, мы имеем дело с неточно известным состоянием ис­ходных данных F, которое в момент времени t находится в диа­пазоне , то относительно имеющего место для более позднего момента t+ t диапазона изменения этого состояния в среднем справедливо неравенство .Отсюда следует, что решение нужно принимать не ранее, чем это необходимо, чтобы обеспечить наиболее вы­сокий уровень информированности. Беляев [12] в этой связи го­ворит о «принципе минимальной заблаговременности». Разуме­ется, решение нельзя принимать и позже, чем это необходимо. Неблагоприятные последствия в этом случае могут быть даже значительно тяжелее, чем при слишком рано принятом реше­нии. В принципе при многошаговых процессах принятия реше­ния имеются различные типы стратегий. Выбор стратегии опре­деленного типа делается прежде всего исходя из соображений точности, оценки затрат, а также простоты использования не­которой в известном смысле оптимальной стратегии. Для по­лучения общей формулировки примем, что процесс имеет N шагов, причем каждый шаг характеризуется начальным со­стоянием Xk, вариантом решения Yk и конечным состоянием

При этом пусть на k-m шаге реализуется промежуточный ре­зультат ek+1 (Xk, Ук, ), а общий результат Z N-шагового про­цесса аддитивен и складывается из промежуточных резуль­татов:

(6.1)

Под состояниями Xk будем понимать в общем случае случайные величины, которые мы будем обозначать прописными бук­вами Xk, k = 0,1,…N. Далее примем, что переход от некоторого наблюдаемого состояния Xk путем выбора варианта решения Yk к состоянию осуществляется с соответствующей ве­роятностью , k=0,1,...,N—1. Справедливы также равенства и , причем суммирование проводится по всем возможным состояниям на (k +1)-м шаге.

Управление процессом происходит теперь в соответствии со1 стратегией 5. Под нею мы понимаем последовательность опти­мальных функций управления («решающих функций») S (do, ... , ), с использованием которых на k-м шаге для имеющего место состояния Xк исходных данных посредством dk(Xk)=Ук однозначным образом определяется вариант реше­ния Yк, k = 0, 1,..., N—1. В более общем случае можно также полагать, что значения решающих функций зависят от всего хода процесса до каждого соответствующего шага, т. е. от Xо,Yо,Х1,Y1,..., , Хк, однако для упрощения рассмотрения огра­ничимся более простым и, кроме того, наиболее часто встречаю­щимся на практике случаем, указанным выше, когда dh зависит: только от наблюдаемого состояния Xk.

При управлении процессом посредством стратегии S (d0,d1,.., ) из-за случайности появления состояний Хо, Х1,... на отдельных шагах процесса получается случайный итого­вый результат:

(6.2.)

В большинстве случаев мы имеем дело с определенным не' случайным начальным состоянием Хо=хо. В общем случае, однако, начальное состояние

также случайно и реализуется а вероятностью

(6.3.)

При расчете по формуле (6.3) мы исходим из справедливого для всех k=1,..., N соотношения

(6.4.)

причем S(уо, у1,…,yk,…, ) —применяемая OL-стратегия.

Отсюда следует:

(6.5.)

Суммирование здесь нужно производить по всем состояниям -на данном шаге. Для слагаемых в (6.5) получаем

(6.6.)

откуда путем сложения по индексу k от 0 до N—1 соглас­но (6.4) получается значение для MsZ при S=(у0,у1,…, ). Максимизация при управлении по принципу OL-спратегии состоит теперь в том, чтобы определить стратегию S*, для которой (6.5)(и, следовательно, средний общий результат) оказы­вается максимальным:

(6.7.)

Такая оптимальная стратегия S*=(y0*, y1*,..., ) имеет то важное для практики свойство, что локально-оптимальные варианты решения у0*, у1*,..., определяются с самого на­чала. Случайные состояния исходных данных, выявляющиеся в процессе реализации выбора, при последующем определении переменных решения не учитываются независимо от того, воз­можен такой учет или нет, либо им сознательно пренебрегают. На другом полюсе возможных оптимальных стратегий ле­жат CL-стратегий (англ. closed loop - замкнутый контур), на­зываемые также FB-стратегиями (англ. feed back — обратная связь). Эти стратегии учитывают каждое реализуемое в ходе процесса состояние для установления последующих оптималь­ных решений. Расчет самой стратегии, а также максимально достижимый средний результат получаются за счет использова­ния обратной связи при стохастической динамической оптими­зации. Снова исходят из того, что процесс имеет конечное число N шагов и на k-m. шаге имеется конечное число состояний Xk, которым соответствует также конечное число возможных решений уk. Индекс, относящийся к состояниям, принимает зна­чения в диапазоне k {0,1,..., N}, а относящийся к решени­ям — в диапазоне k {0, 1,..., N—1}. В дальнейшем как для со­бытий на этапе (Xk, Ук, ), так и для функций перехода ( /yk, xk) справедливы те же сформулированные выше предположения. Максимизируемой итоговой величиной, как в (9.5), снова является MsZ, с тем отличием, что теперь вместо OL-стратегий применяются обладающие наибольшей приспо­собляемостью CL-стратегии. Эти последние определяются по алгоритму стохастической динамической оптимизации следую­щим образом.

IIIaг k=V—1. Если к моменту N—1 наступает состояние Xn-1, тo оптимальный средний итоговый результат , т. е. оптимальный средний результат на последнем шаге при оптимальном варианте решения выражается формулой:

(6.8)

Шаги к=0, 1, ..., N—2. Если к моменту k наступает состоя­ние Xk, то оптимальный средний итоговый результат , т. е. оптимальный средний результат на шаге k при оптималь­ном варианте решения , выражается формулой

(6.9)

На шаге к=0 должно быть также реализовано начальное состояние Хо с начальным распределением р0.

Принцип обратной связи в соотношениях (6.8) и (6.9) на­ходит выражение в том, что для расчета оптимальной приведен­ной функции затрат на шаге k необходимы заранее опреде­ленные оптимальные приведенные функции затрат по всем состояниям -го шага. Этот расчет в обратном направлении обеспечивает, таким образом, определение для каждого шага оптимальной функции затрат vk*, так что, собст­венно, в процессе управления, т. е. при расчете в прямом на­правлении каждому достигаемому состоянию xk ставится в со­ответствие имеющийся оптимальный вариант решения

Средний оптимальный итоговый результат при оптимальной стратегии выражается формулой

(6.10)

Различие оптимально достижимых средних итоговых величин Ms*Z в классе OL-стратегий, с одной стороны, и в классе CL-стратегий, с другой, обычно весьма значительно; при этом CL-стратегии дают существенно более высокие результаты, правда, ценой и существенно более высоких затрат. Промежу­точное положение занимают так называемые OLFB-стратегии. Их принцип состоит в том, чтобы на каждом шаге k= 0,1,...,N—1, исходя из реализованного состояния Xk, рассчитать опти­мальный способ управления для оставшегося времени, руковод­ствуясь OL-стратегией Sk(OL) = ( ) и только потом принять решение для следующего шага ,благодаря чему процесс на следующем своем шаге приводит к новому состоянию .Этот образ действий повторяют, причем на каждом шаге рассчитывают оптимальную OL-стратегию. И только в соответствии с ней принимают следующее решение, достижимые с помощью OLFB-стратегии оптимальные результаты оказываются значительно более высокими, чем при использовании OL-стратегии, и довольно близкими к результатам, обеспечиваемым CL-cтратегией. В особом случае, когда все подлежащие учету состояния исходных данных не случайны, а характеризуются единственным определенным значением на каждом шаге k = 0, 1, ... , N, это приводит к тому, что вероятности перехода вырождаются в «одноточечные» распределения, т. е. , независимо от вариантов решения yk, и все типы стратегий становятся равноценными — нет никакой разницы, следовать ли OL- или FB-стратегии.