2. Дискретные цепи Маркова

Рассмотрим некоторую физическую систему S, множество возможных состояний системы конечное или счетное, в системе протекает дискретный марковский процесс. Переходы между состояниями возможны только в фиксированные моменты времени . Указанные переходы можно рассматривать как последовательные шаги процесса: в начальный момент система была в состоянии , на 1 шаге перешла в состояние и т. д. Такие марковские процессы называют дискретными цепями Маркова.

Для цепи Маркова задача 1 о нахождении вероятностей состояний формулируется так:

Найти – вероятность того, что после k-го шага система окажется в состоянии . Будем рассматривать простые цепи Маркова, для которых вероятности зависят только от состояния системы на предыдущем, k-м шаге.

Простая цепь Маркова полностью определяется заданием начальных вероятностей состояний и вероятностей перехода – так называемых условных вероятностей:

Если система была на предыдущем (k – 1)-м шаге в состоянии , то на k-м шаге она перешла в состояние .

Определение 4. Цепь Маркова называется однородной, если вероятности перехода не зависят от номера шага:, т.е.

Для простоты рассмотрим однородную цепь Маркова. Будем считать, что число состояний системы равно п. Вероятности перехода объединяются в квадратную матрицу .

Сумма вероятностей по всем путям, выходящим из данного состояния, равна 1 (как сумма вероятностей полной группы несовместных событий).

Рассмотрим пример системы с тремя состояниями и матрицей перехода:

(3)

Элемент – вероятность перехода системы из состояния в . Сумма элементов каждой строки равна 1.

Пусть, например, заданы начальные вероятности: Найдем вероятности состояний после 1 шага.

Решение. По формуле полной вероятности:

Проверка: 0,23 + 0,25 + 0,52 = 1.

Правило: чтобы найти вектор-строку вероятностей , нужно строку начальных вероятностей умножить на i-й столбец матрицы перехода по правилу умножения матриц.

Аналогично находятся вероятности состояний после любого шага. Полученное правило равносильно следующей формуле:

(4)

Заметим, что в случае неоднородной цепи Маркова вероятности зависят от номера шага.

Рассмотрим однородную цепь Маркова с матрицей вероятностей переходов за один шаг.

Справедлива

Теорема. Матрица вероятностей переходов однородной цепи Маркова за шагов равна ой степени матрицы вероятностей переходов за один шаг, т.е. .

Если известна матрица вероятностей переходов за один шаг и начальные распределения вероятностей состояний , то вероятности состояний на – ом шаге удовлетворяют соотношению

.

3. Предельные вероятности состояний для однородной цепи Маркова

Для однородной цепи Маркова можно поставить задачу 2 – вопрос о существовании установившегося режима (предельных вероятностей состояний):

.

Предельные вероятности заведомо существуют, если есть состояние, из которого система не может выйти. Ясно, что с течением времени система заведомо окажется в этом состоянии. Если подобных состояний несколько, система окажется в одном из них.

А.А. Марков доказал, что для существования предельных вероятностей достаточно, чтобы все элементы матрицы перехода были отличны от нуля.

Для нахождения предельных вероятностей перейдем в формуле (4) к пределу при . Получим систему п линейных уравнений:

(5)

Система (5) имеет бесконечное множество решений, так как при суммировании всех уравнений в силу свойства матрицы перехода получим тождество: .

Поэтому к системе в силу (2) добавляется условие нормировки:

(6)

При составлении системы (5) удобно пользоваться понятием потока вероятности.

Определение 5. Потоком вероятности из состояния в состояние называется произведение .

Систему уравнений (4) удобно составлять, пользуясь следующим правилом: для каждого состояния сумма потоков предельных вероятностей, входящих в данное состояние, равна предельной вероятности состояния.

Составим, например, систему уравнений для предельных вероятностей в условиях матрицы перехода (3):

Отбросим, например, третье уравнение (как следствие остальных) и найдем предельные вероятности, решив полученную систему трех уравнений с тремя неизвестными. Ответ: .