Так как в распределении Пуассона оценивается один параметр , то k = 4 – 1 – 1 = .
5,99 |
2 |
2 нет оснований отвернуть гипотезу о распределении СВ Х по закону Пуассона. |
0,95 |
Глава 11
Цепи Маркова
§ 1. Определение цепи Маркова
Непосредственным обобщением схемы независимых испытаний является схема цепей Маркова.
Пусть производится последовательность испытаний, в каждом из которых может осуществляться одно и только одно из k несовместных событий.
A1(S ) , A2(S ) , , Ak(S )
верхние индексы обозначают номер испытания.
О п р е д е л е н и е .
Последовательность испытаний образует простую цепь Маркова, если условная вероятность в
испытании, где S 1, 2, 3, осуществится событию
, зависит только от того, какое со-
бытие произошло при S-ом испытании и не изменяется от добавочных сведений о том, какие события происходили в более ранних испытаниях.
Замечание.
Часто при изложении теории цепей Маркова придерживаются иной терминологии и говорят о некоторой физической системе S, которая в каждый момент времени может находиться в одном из состояний
A1, A2 , , Ak и меняет свое состояние только в моменты t1, t2 , , tn , |
|
|
Для цепей Маркова вероятность перейти в какое-либо состояние Ai i 1, , k , в момент времени tS |
зависит только от самого Ai и того, в каком состоянии система находилась в момент времени |
tS 1 t tS |
и |
не изменяется оттого, что становятся известными ее состояния в более ранние моменты времени.
Пример 1.
В модели Бора атома водорода, электрон может находиться на одной из допустимых орбит. Обозначим, через Ai – электрон находится на i орбите и предположим, что изменение состояние атома
может наступать только в моменты t1, t2 , t3 , (в действительности эти моменты представляют собой СВ),
то тогда вероятности перехода с i орбиты на j орбиту в момент времени tS зависит только от i и j и не зависит от того на каких орбитах находился электрон в «прошлом».
Разность (i–j) зависит от количества энергии, на которую изменился заряд атома в момент времени tS. Это пример цепи Маркова с бесконечным числом состояний.
§ 2. Матрица перехода
Далее будем рассматривать только однородные цепи Маркова, в которых условная вероятность появле-
|
(S 1) |
|
ния события |
A j |
при условии, что в предыдущем S-ом испытании осуществилось |
испытания. |
|
|
Назовем эту вероятность – вероятностью перехода и обозначим pij .
Полную вероятностную картину возможных изменений, осуществляющихся при переходе от одного испытания к следующему можно задать с помощью матрицы
|
p |
p |
|
p |
|
|
|
|
11 |
12 |
|
1k |
|
1 |
p21 |
p22 |
p2k |
|
|
|
|
|
|
|
– матрица перехода |
|
|
|
|
|
|
|
|
|
|
|
|
|
pk 2 |
|
|
|
|
|
pk1 |
pkk |
|
Замечание. |
|
1. |
Очевидно, что i, j |
0 pij 1. |
2. |
Из того, что при переходе из состояния |
система обязательно переходит в одно из состояний
k
A(jS 1) , следовательно, в матрице перехода pij 1 . j 1
О п р е д е л е н и е .
Любая квадратная матрица, элементы которой удовлетворяют следующим требованиям:
|
i, j : |
0 p |
ij |
1; |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
pij |
1 |
, называется стохастической. |
|
|
|
|
|
j 1 |
|
|
|
|
|
|
|
|
|
|
|
|
Одной из главных задач в теории цепей Маркова является задача определения вероятности перехода |
(S ) |
(S n) |
Pij n . |
|
|
|
|
|
|
|
Ai |
Aj |
|
|
|
|
|
|
|
|
|
Рассмотрим какое-нибудь промежуточное испытание с номером (S+m). В этом испытании осуществится |
|
|
|
|
|
|
|
|
(S m) |
( S ) |
|
( S m) |
какое-либо одно из возможных событий Ar |
|
1 r k , тогда вероятность перехода Ai |
Ar |
|
|
|
|
|
|
|
|
|
|
|
P m |
|
|
|
|
|
|
|
|
|
|
|
|
ir |
|
|
|
|
|
|
( S m) |
|
|
(S n) |
. |
|
|
|
, а вероятность перехода Ar |
|
Aj |
|
|
|
|
|
|
|
|
|
P |
n m |
|
|
|
|
|
|
|
|
|
|
|
rj |
|
|
|
|
|
|
По формуле полной вероятности получим
|
|
k |
|
|
|
|
|
|
|
Pij n Pir m Prj |
n m |
|
(*) |
|
r 1 |
|
|
|
|
|
|
Обозначим через |
|
|
|
|
|
P |
|
n |
P |
n |
|
P |
n |
|
11 |
|
12 |
|
|
1k |
|
|
n |
|
|
|
|
|
|
|
P |
|
n |
P |
n |
|
P |
n |
|
|
|
|
k1 |
|
k 2 |
|
|
kk |
|
Согласно формуле (*) получаем, что |
n m n m |
В частности, когда n = 2, получаем |
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
2 |
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n = 3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
3 |
1 |
2 |
1 |
1 |
1 |
1 |
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
n |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Отметим частный случай формулы (*), когда m = 1
k
Pij n Pir Prj n 1 . r 1
Пример 2
Процесс блуждания с отражением.
Пусть частица, находящаяся на прямой, движется по этой прямой под влиянием случайных толчков, происходящих в моменты времени t1, t2 , t3 , Частица может находиться в точках с целочисленными коорди-
натами a, a 1, a 2, , b . В точках a, b находятся отражающие стенки, каждый толчок перемещает частицу
вправо с вероятностью p, а влево с вероятностью q, если только частица не находится у стенки. Если частица находится у стенки, то любой толчок переводит ее на 1 внутрь промежутка между стенками.
Получается цепь Маркова с конечным числом состояний.
|
0 |
1 |
0 |
0 |
|
0 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
q |
0 |
p |
0 |
0 |
0 |
0 |
1 |
|
0 |
q |
0 |
p |
|
0 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
0 |
0 |
0 |
|
q |
0 |
|
|
|
|
p |
|
|
0 |
0 |
0 |
0 |
|
0 |
1 |
0 |
|
|
|
|
Аналогично можно рассматривать ситуации, когда частица прилипает к одной из стенок, этот процесс блуждания с поглощением.
Лекция № 23
Пример 3.
Вероятности перехода даются матрицей
|
|
|
|
1 |
1 |
1 |
|
|
|
|
|
2 |
3 |
6 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
1 |
|
|
1 |
|
2 |
3 |
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
3 |
6 |
|
Чему равно число состояний в системе?
Ответ: 3.
Найти вероятности перехода из состояния в состояние за два шага:
|
|
|
|
|
1 |
1 |
1 |
|
1 |
1 |
1 |
|
1 |
1 |
1 |
|
|
|
|
|
|
|
|
|
2 |
3 |
6 |
|
|
|
2 |
3 |
6 |
|
|
|
2 |
3 |
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
1 |
1 |
1 |
|
|
|
1 |
1 |
1 |
|
|
|
1 |
1 |
1 |
|
|
|
|
2 |
1 |
|
2 |
3 |
6 |
2 |
3 |
6 |
2 |
3 |
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
1 |
|
|
|
1 |
1 |
1 |
|
|
|
1 |
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
3 |
6 |
|
2 |
3 |
6 |
|
2 |
3 |
6 |
|
|
|
§ 3. Теорема о предельных вероятностях |
|
|
|
|
|
Т е о р е м а |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если при некотором S > 0 все элементы матрицы перехода S положительны, то существуют такие |
постоянные числа |
p j j 1, 2, , k , что независимо от индекса |
i |
имеет место равенство |
lim Pij n p j . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
Физический смысл этой теоремы.
Вероятность в системе находится в каком-то состоянии Aj практически не зависит от того, в каком со-
стоянии эта система находилась в «далеком прошлом».
