8.6. Марковські процеси
Нехай
система може знаходитись в одному із
станів множини X
(фазового
простору) і переходить із одного стану
в другий у будь-які моменти часу. Нехай
випадковий процес
приймає значення із множини
,
де
– скінченна або зліченна.
Процес
називається марковським,
якщо для довільних
,
тобто значення процесу в момент часу
залежить від значення процесу в момент
часу
і не залежить від значення процесу в
попередні моменти часу ( k,…,
i,
j
– номери
станів).
Ймовірності
,
,
називаються ймовірностями переходу із стану в стан за час від до .
Відмінність від ланцюгів Маркова полягає у тому, що час змінюється неперервно.
Для
ймовірностей переходу виконуються
умови:
,
,
,
(8)
а
,
,
.
(9)
Крім
того перехідна ймовірність задовольняє
таке рівняння Маркова: для довільних
.
(10)
Дійсно, із означення перехідних ймовірностей випливає, що
,
.
Якщо підставимо ці величини в рівність
,
то одержимо
,
а це рівносильно (10).
Нехай
час відраховується від деякого моменту
часу
і нехай
,
,
– початковий розподіл процесу,
а
– розподіл процесу в моменту
часу
.
Тоді
,
крім того
.
(11)
Якщо
залежить лише від різниці
,
то марковський процес називається
однорідним.
Покладемо
,
тоді ймовірності
є ймовірностями переходу із стану
в стан
за час
і
,
при цьому із (11), (10), (9) випливають відповідно такі формули:
,
(12)
(13)
,
,
.
(14)
Будемо розглядати тепер лише однорідні марковські процеси.
Будемо вважати, що при всіх i, j = 1, 2,… перехідні ймовірності задовольняють наступним умовам:
,
,
(15)
при
.
Величини
називають щільністю виходу із стану i,
а
називають щільністю переходу із стану
i
в стан j.
Покладемо
.
Теорема. Якщо для марковського процесу із скінченною множиною станів виконуються умови (15), то ймовірності переходу задовольняють диференціальним рівнянням
,
(16)
(17)
з
початковими умовами (14), де
,
а
при
і
.
(18)
Рівняння (16) називаються першою або оберненою системою, а рівняння (17) – другою або прямою системою диференціальних рівнянь Колмогорова.
Доведення. Із рівності (13) і умов (15) маємо
.
Тому
.
Оскільки число
доданків у правій частині скінченне,
тому існує скінченна границя
правої частини при
,
отже існує скінченна границя
і
лівої частини і справедлива рівність
(16). Аналогічно,
.
Після ділення на h і переходу до границі при , одержуємо (17).
Рівність
перепишемо у вигяді
і використаємо умови (15),
тоді
і
,
звідки випливає (18). Теорема
доведена.
Відзначимо, що при додаткових умовах, рівняння (16) і (17) виконуються і для випадку зліченної множини станів.
Продиференціюємо
рівність
по
параметру
,
тоді із (17) одержуємо
,
тобто ймовірності
задовольняють систему диференціальних
рівнянь
.
(19)
Розв’язок
цієї системи знаходиться при початкових
умовах
.
Якщо
такі, що
,
тобто вони не змінюються з часом, то
вони називаються стаціонарними.
Із (19) випливає така система для
стаціонарних ймовірностей:
.
Приклад.
Нехай на деяку систему масового
обслуговування поступають замовлення
так, що
– число замовлень за час t
–
утворює однорідний марковський процес
із зліченною множиною станів 0, 1, 2, … .
Із стану i
система
безпосередньо може перейти тільки
в
,
i
= 0,
1, 2, … . Нехай щільності виходу із кожного
стану однакові і дорівнюють
.
Тому
,
інші
при інших
.
Із (18) випливає, що
.
Система (19) буде мати вигляд
,
,
.
Розв’язок цієї системи задовольняє початковим умовам: , , .
Точно таку систему ми одержали при вивченні процесу Пуассона. Там ми знайшли і її розв’язок:
, .
Отже, є процесом Пуассона.