Вопрос 44. Цепи Маркова. Вероятность перехода за n шагов. Эргодическая теорема Маркова.

Цепью Маркова называется последовательность испытаний, в каждом из которых возможно появление одного из n-независимых событий , образующих полную группу. Причем, вероятность того, что при S-том испытании появляется событие А_j зависит от того, какое событие А_i произойдет в предыдущем S-1испытании и не зависит от исходов всех предшествующих S-1 испытанию. Вероятность того, что в S-ом испытании произойдет А_j событие при условии, что в предыдущем испытании произойдет А_i: Р_ij(S). Однородной цепью Маркова называют такую цепь Маркова при условии, что условная вероятность Р_ij(S) (перехода из состояния i в состояние j) не зависит от номера испытания. Поэтому вместо Р_ij(S) пишут просто Р_ij . Переходной вероятностью Р_ij называют условную вероятность того, что из состояния i, в котором система оказалась в результате некоторого испытания) в итоге следующего испытания система перейдет в состояние j. Пусть число состояний конечно и равно k. Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы: Сумма вероятностей, стоящих в каждой строке, =1, т.е. образуют полную группу. Другими словами сумма переходных вероятностей каждой строки матрицы перехода равна единице: (i=1, 2, …k). Равенство Маркова: Обозначим через Р_ij (n) вероятность того, что в результате n-шагов система перейдет из состояния i в состояние j. Например, Р₂₅(10) – вероятность перехода за 10 шагов из второго состояния в пятое. При n=1 получим переходные вероятности Р_ij(1)=р_ij. Решим задачу: зная переходные вероятности р_ij, найти вероятности Р_ij (n) перехода системы из состояния i в состояние j за n шагов. С этой целью введем в рассмотрение промежуточное (между i и j) состояние r. По другому, будем считать, что из первоначального состояния I за m шагов система перейдет в промежуточное состояние r с вероятностью Р_ir (m), после чего за оставшиеся n-m шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью Р_ij (n-m). По формуле полной вероятности, . Эту формулу называют равенством Маркова.

Эргодическая теорема Маркова: Если при некотором достаточно большом значении k>0 все элементы матрицы перехода за k шагов положительные, т.е.нет 0, тогда существуют такие постоянные значения Р_j, что справедливо равенство: . Суть теоремы: Вероятности Р_j можно рассматривать как вероятности того, что система находится в состоянии после k испытаний.

Вопрос 45. Марковские процессы. Процессы гибели и размножения

Случайной функцией называют функцию неслучайного аргумента t, которая может принимать случайные значения. Пусть u-случайная величина, t – неслучайный аргумент, . Случайным процессом называют случайную функцию, где t – время. Марковский случайный процесс – процесс, в котором система может случайным образом переходить из одного фиксированного состояния в другое. Причем состояние, в котором система находится в конкретный момент времени t , зависит только от того в каком состоянии система находилась в предшествующий момент времени и не зависит от того, в каком состоянии система находилась до этого в прошлом. Цепь Маркова – это Марковский случайный процесс с конечным числом состояний и переходом из состояния в состояние в фиксированные моменты времени. Существуют также процессы Маркова, переходящие из состояния в состояние происходит непрерывно и имеющие бесконечное множество состояний. Пример: Процессы гибели и размножения.

Пусть некоторая система может находится в одном из следующих состояний Е₀, Е_1,….. Е_i. Под состоянием Е_i понимают количество элементов системы. Предполагаем, что за ничтожно малый промежуток времени h система из состояния Е_k может перейти в Е_k+1 (численность увелич. на 1) с вероятностью такого перехода или перейти в Е_k-1 c вероятностью , причем и не зависят от времени t, а зависят от того в каком состоянии система находилась в предшествующий момент времени. Предположим, что , то Е_к, где >1, вероятность = ничтожно мала по сравнению с указанными выше вероятностями и . Вероятность Е_к будет =1-h- h. В случае, когда все =0, получаем процесс чистой гибели. В случае, когда =0, получаем процесс чистого размножения. В силу того, что и не зависят от t, а зависят от предшествующего состояния –эти процессы являются процессами Марковского типа.