5.1. Равенство Маркова.

Пусть p_ij(n) – вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j. Например, p₂₅(10) – вероятность перехода за 10 шагов из второго состояния в пятое.

При n = 1 получаем переходные вероятности p_ij(1) = p_ij.

Поставим задачу: Зная переходные вероятности p_ij, найти вероятности p_ij(n) перехода системы из состояния i в состояние j за n шагов через промежуточное (между i и j) состояние r. То есть, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью p_ir(m), после чего, за оставшиеся (n-m) шагов, она перейдет из состояния r в конечное состояние j с вероятностью p_rj(n-m).

По формуле полной вероятности имеем:

(1)

Эту формулу называют равенством Маркова.

Подставив в это равенство n = 2, m = 1, получаем:

(2)

По формуле (2) можно найти все вероятности p_ij(2), следовательно, и саму матрицу перехода P₂ из состояния в состояние за два шага.

Из формулы (2) вытекает соотношение в матричной форме:

Подставив в равенство Маркова n = 2, m = 1, получаем:

Таким образом, можно получить общую формулу:

Пример: Задана матрица перехода . Найти матрицу перехода

Решение: _.

5.2. Финальные вероятности.

Обратимся к важной для нас теореме, которая впервые была доказана Марковым.

Теорема: Если цепь характеризуется матрицей перехода , такой, что при некотором все элементы матрицы были отличны от нуля, тогда существует предел матрицы при , причем для всех значений и ( называют финальными или стационарными вероятностями).

В матричной форме это можно записать так:

Финальные вероятности можно найти, решив однородную систему линейных уравнений с неизвестными :

Ищем решение этой системы, отличное от тривиального:

,

которое удовлетворяет условию нормировки .

Пример: На рынке вычислительного оборудования преобладают компактные диски двух марок: A и B. Приблизительно, потребители приобретают новую упаковку дисков один раз в месяц. Статистические исследования показали:

Если в текущем месяце потребитель пользуется дисками марки A, то с вероятностью 0,6 он будет приобретать их и в следующем месяце, а с вероятностью 0,4, в следующем месяце он приобретёт диски марки B.

Если в текущем месяце потребитель пользуется дисками марки B, то с вероятностью 0,7 он будет приобретать их и в следующем месяце, а с вероятностью 0,3 в следующем месяце он приобретёт диски марки A.

Требуется составить прогноз состояния рынка компактных дисков в обозримом будущем.

Решение: Построим математическую модель. Пусть – потребители, приобретающие диски марки A; – потребители, приобретающие диски марки B. Процесс приобретения дисков, описанный в данном примере – это однородная цепь Маркова с матрицей перехода:

.

Покажем динамику переходов системы из одного состояния в другое через 2 и через 3 месяца и вычислим финальные вероятности.

1) Через 2 месяца:

.

2) Через 3 месяца:

.

3) Финальные вероятности:

Ответ: Независимо от нынешнего состояния рынка, если матрица перехода останется равной , будет наблюдаться тенденция к тому, чтобы марка компактных дисков A контролировала рынка, а марка B контролировала .