4. Марковские процессы с непрерывным временем

Пусть система может находиться в одном из состояний и в случайные моменты времени t переходит из состояния в состояние . Тогда в системе протекает марковский процесс с непрерывным временем.

Обозначим через вероятность того, что в момент времени система находится в состоянии . Вероятности называют вероятностями состояний.

Марковский процесс считается описанным, если определены вероятности состояний, т.е. все вероятностных функций времени

.

Так как в любой момент времени система будет находиться только в одном из состояний, то имеет место условие нормировки для любого .

Вместо переходных вероятностей в процессе с непрерывным временем рассматривают иные характеристики процесса – так называемые плотности вероятностей перехода из состояния в состояние в момент времени t, которые определяют следующим образом.

Обозначим через , – вероятность того, что система , находившаяся в момент времени t в состоянии за промежуток времени , (т.е. за время ) перейдет в состояние . Полагаем (для удобства записи) .

Определение 6. Плотностью вероятности перехода системы из состояния в состояние в момент времени t называется величина

.

Из последнего равенства следует, .

Из определения плотности вероятностей переходов следует, что они в общем случае зависят от времени, неотрицательны и могут быть больше 1, причем .

Если при любых , плотности вероятностей переходов не зависят от времени, т.е. , то марковский процесс называется однородным.

Рассмотрим однородный марковский процесс с непрерывным временем. Граф состояний такого процесса, у стрелок которого проставлены плотности вероятностей переходов, называется размеченным графом состояний. Отсутствие стрелки из одного состояния в другое означает, что плотность вероятности соответствующего перехода равна нулю.

Зная плотности вероятностей переходов , которые удобно задавать матрицей

,

где , можно определить вероятности состояний как функции времени, из следующей системы дифференциальных уравнений:

.

Эту систему называют системой дифференциальных уравнений Колмогорова⁵.

Введем обозначения

,

,

тогда систему дифференциальных уравнений Колмогорова можно записать в виде

.

5. Уравнения Колмогорова

Пусть система может находиться в одном из состояний и в случайные моменты времени t переходит из одного состояния в другое с помощью пуассоновского потока событий интенсивностью из в . Заданы начальные вероятности состояний и потоки , переводящие систему из одного состояния в другое. Граф состояний (для определенности – три состояния ) представлен на рис. 3.

Рис. 3

Задача 1. Найти вероятности состояний

Задача 2. Найти предельные вероятности состояний

Решение задачи 1 дается системой дифференциальных уравнений Колмогорова. Число уравнений равно числу состояний.

Правило составления уравнений Колмогорова.

Производная вероятности каждого состояния по t равна сумме всех потоков вероятности, втекающих в данное состояние, минус сумма потоков вероятности, вытекающих из данного состояния, где поток вероятности перехода – величина .

(7)

Начальные условия:

Если потоки стационарны (), всегда существуют предельные вероятности. Для их нахождения в систему (7) подставим:

Уравнения Колмогорова для предельных вероятностей:

Правило составления: Сумма всех потоков вероятности, втекающих в данные состояния, равна сумме всех потоков вероятности, вытекающих из состояния.