3. Основні твердження відносно марковських процесів з неперервним часом та дискретним простором станів

Нехай – марковський процес з простором станів . Позначимо

.

– ймовірність того, що в момент часу процес опиниться в стані , якщо в теперішній момент часу він знаходиться в стані . ще називають перехідними ймовірностями процесу. Якщо

,

то називають однорідним за часом. Далі будемо розглядати тільки однорідні за часом марковські процеси. Через будемо позначати ймовірність переходу з стану в стан за час .

Для виконуються наступні умови:

1. ;

2. 

(виходячи з стану в початковий момент часу, процес через час обов’язково потрапить в один із своїх станів: або в , або в і т.д.);

3. (рівняння Колмогорова-Чепмена);

4. 

Доведені теореми:

Теорема 1. Для будь-якого існує границя

,

але може бути необмеженою

( називають інтенсивністю виходу процесу зі стану , інакше кажучи, є середнім числом виходів процесу зі стану за одиницю часу).

Теорема 2. Для будь-яких та існує границя

і завжди скінчена

( називають інтенсивністю переходу процесу зі стану в стан ).

Зауваження. З теорем 1, 2 випливає, що

,

,

де – нескінченно мала більш високого порядку мализни, ніж ;

вважаються відомими.

Означення. Марковський процес називають консервативним, якщо для будь-якого стану виконується рівність

.

Надалі будемо розглядати консервативні марковські процеси.

Теорема 3 (прямі диференціальні рівняння Колмогорова).

Ймовірності переходу марковського процесу зі стану в стан задовольняють наступній системі диференціальних рівнянь:

,

та початковим умовам

Тут – фіксована величина, .

Зауваження. Якщо перепозначити :

,

то система рівнянь набуває вигляду

.

При аналізі випадкових процесів з дискретним простором станів дуже зручно користуватись геометричною схемою – так званим графом станів. Граф станів геометрично зображує можливі стани системи і її можливі переходи зі стану в стан.

Нехай маємо систему з дискретними станами: .

Будемо зображати кожен стан кружечком, а можливі переходи – стрілками, що з’єднують ці кружечки.

Зауважимо, що стрілками відмічаються тільки безпосередні переходи зі стану в стан; якщо система може перейти зі стану в стан тільки через , то стрілками відмічаються тільки переходи та , а не .

Приклад. Система  S – автомашина, яка може знаходитись в одному з п’яти можливих станів:

– справна, працює;

– несправна, чекає огляду;

– оглядається;

– ремонтується;

– списана.

Граф станів системи має вигляд (рис. 6)

Звернемо увагу на структуру прямих диференціальних рівнянь Колмогорова. Всі вони побудовані за певним правилом, яке можна сформулювати таким чином.

У лівій частині кожного рівняння стоїть похідна ймовірності переходу в стан , а права частина містить стільки членів, скільки стрілок пов’язано з даним станом. Якщо стрілка напрямлена зі стану, відповідний член має знак "мінус", якщо в стан – знак "плюс". Кожний член дорівнює добутку інтенсивності переходу, що Рис. 6.

відповідає даній стрілці, на ймовірність переходу в той стан, з якого виходить стрілка.

Це правило складання прямих диференціальних рівнянь для ймовірностей переходу зі стану в стан є загальним і справедливе для будь-якого марковського процесу з неперервним часом та дискретним простором станів.

З його допомогою можна цілком механічно, без всяких міркувань, записувати диференціальні рівняння для перехідних ймовірностей безпосередньо за розміченим графом.

П риклад. Розмічений граф станів системи має вигляд, що показаний на рис. 7. Написати систему прямих диференціальних рівнянь Колмогорова і початкові умови для розв’язування цієї системи, якщо відомо, що в початковий момент система знаходиться в стані .

Розв’язування. Система рівнянь Колмогорова має вигляд

,

,

,

,

Рис. 7.

.

Початкові умови:

Рис. 7.

при .