Gorbachev_OsnoviTeoriiSluchajProtces[1]

pii (N ), которые могут быть найдены из матрицы переходных вероятностей P = || pij ||.

Однако ввиду теоремы 3.5 проверка эргодичности нашей цепи существенно упрощается, сводясь к решению системы уравнений (3.25) при N = ∞. Существование ненулевого решения этой системы свидетельствует об эргодичности цепи и представляет собой стационарное и предельное распределение цепи, т.е. описывает стационарный режим системы массового обслуживания (с точностью, определяемой, конечно, степенью адекватности используемой для её описания модели).

В нашем примере этот путь приводит к системе уравнений, получаемой из (3.25) при N = ∞. Нетрудно проверить, что её решение имеет вид

из которых следует, что ненулевое положительное решение и, следовательно, стационарный режим системы существует, если p < q и не существует ( Pi = 0), если Подчерк-

нем, что стационарный режим не устанавливается даже в том случае, когда вероятности p и q (соответственно – поступления и завершения обработки объекта, находящегося в УО, за время τ) равны друг другу. Этот эффект (парадоксальный для детерминированной модели) вполне объясним вероятностным характером нашей модели: при указанном равенстве в силу случайности процессов поступления и обработки объектов оказывается неравной нулю вероятность «простоя» системы. В результате этого интенсивность потока обработанных объектов оказывается ниже интенсивности потока поступающих объектов, что приводит нарастанию их очереди в бункере.

91

Заметим еще раз, что нулевое предельное распределение состояний системы при P ≥ q. имеет тот физический смысл,

что при имеющем в этом случае непрестанном нарастании очереди объектов в бункере вероятность состояния системы Ai(t) при каждом фиксированном i стремится к нулю с ростом t.

3.3. Марковские цепи с непрерывным аргументом.

Рассмотрим теперь случайный процесс X(t) c непрерывным аргументом t, t T , интерпретируемым, обычно, как время. Пусть множество S возможных состояний этого процесса конечно или счетно и переход его из одного состояния в другое происходит в случайные моменты времени t. Типичная реализация (траектория) такого случайного процесса представлена на рис. 3.2. Чаще всего предполагается, что T = [0,∞) или T = (− ∞,∞)

X(t)

Рис. 3.2

Реализация ступенчатого случайного процесса.

92

Определение 3.3. Случайный процесс с непрерывным аргументом t и дискретным множеством состояния S, обладающий марковским свойством (3.1), называется марковской цепью с непрерывным аргументом.

Для краткости такой процесс именуется также ступенчатым (по виду его реализаций).

В качестве упражнения читателю предлагается установить, что пуассоновский процесс (см. §2.3) представляет собой марковскую цепь с непрерывным аргументом.

Как и ранее, состояния процесса X(t) удобно обозначать целыми числами, принимая, таким образом, S=(0, 1, …, n, …)

или S=(…, -n, …, -1, 0, 1, …, n, …).

Условные вероятности вида

pij (t1 ,t2 ) = P{X (t2 ) = j | X (t1 ) = i}

суть переходные вероятности, для которых справедливы уравнения типа (3.6). Пусть t1< t <t2 . Тогда, используя формулу полной вероятности, в силу марковости процесса X(t) для i,j S получим

pij (t1 ,t2 ) = P{X (t2 ) = j | X (t1 ) = i} =

= ∑P{X (t2 ) = j | X (t) = k, X (t1 ) = i}×P{X (t) = k | X (t1 ) = i} =

Займемся конструктивным описанием ступенчатого процесса. При этом наша цель будет состоять в получении соотношений, описывающих изменение распределения вероятностей состояния процесса во времени.

Введем процесс специального вида Z(t) (рис.3.3):

0, если t ≤ ξ;

Z(t) = 1, если t > ξ;

где ξ – неотрицательная случайная величина с функцией распределения Fξ(u) и непрерывной функцией плотности распределения fξ(u).

93

Z(t)

Рис. 3.3

Реализация случайного процесса Z(t)

Z(t) – ступенчатый марковский процесс. Действительно,

где λ(t) – неотрицательная функция, называемая интенсивно-

дующим образом:

94

тельное распределение, которое, как известно, характеризуется отсутствием последействия (распределение случайной величины ξ не изменяется при переносе вправо начала координат).

Используя случайный процесс Z(t) как вспомогательный, опишем ступенчатый марковский процесс X(t) с конечным множеством состояний S. Для этого свяжем с каждым i-ым состоянием процесса X(t) процесс Zi(t) с конечной интенсивностью перехода λi(t). Каждый из процессов Zi(t) управляет моментом перехода процесса X(t) из i-го состояния в какоелибо другое. Введем для каждого i также относительные переходные вероятности {qij (t)} j S , каждая из которых пред-

ставляет собой условную вероятность перехода процесса X(t) в момент t в j-ое состояние при условии, что в момент t произошел скачок, управляемый процессом Zi(t), и что до этого

95

скачка процесс находился в i-ом состоянии. Ясно, что

∑qij (t) =1.

j S

( j≠i)

Пусть в начальный момент процесс X(t) имел состояние i0. В момент t = 0 «запускается» процесс Zi0 (t) и в момент

его скачка (t1) в соответствии с вероятностями {qi0 j (t1 )} про-

исходит переход его в иное (например, k-ое ) состояние. В этот же момент возникает процесс Zk(t) c интенсивностью перехода λк(t) и в момент t2 его скачка разыгрывается с вероятностями {qkj (t)} переход процесса X(t) в следующее со-

стояние и т.д.

Если для i, j λi(t) = λi = const и qij (t) = qij = const , то

процесс X(t) представляет собой однородный ступенчатый процесс, рассмотрением которого мы и ограничимся.

Имея в виду (3.27) , для малого h получим pij (t,t + h) = pij (h) = P{X (t + h) = j | X (t) = i} =

(последнее равенство в (3.30) выражает вероятность того, что на интервале [t,t+h) процесс сохраняет i-ое состояние).

Обозначим pi (t) = P{X (t) = i} и, применяя формулу полной вероятности, выразим вероятности состояний процесса в момент t+h через вероятности его состояний в момент t:

p j (t + h) = ∑pij (h) pi (t)

i S

или

96

где

a = − λ j , если i = j,

ij λi qij , если i ≠ j.

Система уравнений (3.30) дополняется очевидным равенством ∑pi (t) =1 и представляет собой уравнения Кол-

i s

могорова для ступенчатых процессов.

Нетрудно установить, что при выводе (3.31) условие конечности S может быть снято, если потребовать равномерные

по i сходимость oijh(h) → 0 при h→0 и ограниченность λi .

Итак, справедлива следующая теорема.

Теорема 3.6. Если X(t) – однородная марковская цепь с непрерывным аргументом, обладающая конечным или счетным множеством состояний S и переходными вероятностями

97

горова (3.31).

Условия эргодичности процесса X(t), т.е. существования его предельного стационарного распределения можно получить, рассматривая ступенчатый процесс как предельный, возникающий из дискретной марковской цепи при неограниченном уменьшении шага дискретизации аргумента. Оказывается, что эргодичность ступенчатого процесса с конечным множеством состояний S имеет место, если S – один класс сообщающихся состояний. Если S счетно, то предельное стационарное распределение процесса X(t) существует и совпадает с ненулевым решением системы уравнений

(если оно существует).

Мы получили уравнения (3.31), описывающие эволюцию распределения вероятностей состояний ступенчатого процесса во времени. Можно получить уравнения, имеющие аналогичный смысл, для переходных вероятностей pij (t1, t2 ) .Для

этого с каждым i – ым состоянием процесса X(t) связывается

Первый скачок в этой совокупности потоков, одновременно «запускаемых» каждый раз в момент перехода процесса X(t) в какое-либо очередное i-ое состояние, определяет момент перехода его в новое состояние и номер этого состояния (равный значению второго индекса того случайного процесса Z ij(t) , в котором раньше произошел скачок).

Тогда, повторяя путь, приведший к (3.30), можно полу-

чить

98

Система (3.34) образует прямые уравнения Колмогорова-

Феллера. Аналогичным путем, рассматривая моменты времени t0 < t0 + h < t и осуществляя предельный период при

h → 0, получим систему так называемых обратных уравнений Колмогорова-Феллера для переходных вероятностей:

Пример ступенчатого марковского процесса: модель системы массового обслуживания с непрерывным временем.

99

В качестве примера ступенчатого марковского процесса рассмотрим процесс массового обслуживания при непрерывном аргументе (времени). В отличие от рассмотренной выше системы массового обслуживания допустим, что она содержит m каналов обработки, т.е. состоит из m устройств обработки УО и общего бункера Б, способного хранить до n объектов, поступающих на обработку (рис.3.4.).

УО1

Z3

Z4

УОm

Рис3.4

m – канальная система массового обслуживания.

Б – бункер, УОi – устройства обработки, Z1 – объекты, поступающие на обработку, Z2 – обработанные объекты, Z3 – объекты, отклоненные от обработки из-за занятости бункера, Z4 – объекты, не дождавшиеся обработки.

Придадим рассматриваемому процессу еще одно новое свойство: пусть объект, ожидающий обслуживания в бункере, может в случайный момент времени покинуть его без об-

100