Марковские цепи с дискретным временем

1.

Постановка задачи:

По некоторой цели ведется стрельба в моменты времени t₁, t₂, t₃, t₄. Цель может находиться в одном из следующих состояний:

S₁ – цель невредима,

S₂ – цель незначительно повреждена,

S₃ – цель имеет существенные повреждения,

S₄ – цель полностью поражена.

Размеченный граф состояний приведен на рис.3.1. Начальным состоянием системы является состояние S₁.

Необходимо определить вероятности всех состояний цели после четырех выстрелов.

Решение:

Для данной марковской цепи с дискретным временем граф состояний приведен на рис.3.1. Учитывая, что сумма вероятностей переходов равна единице, вероятность сохранения состояния системой можно определить как единица минус сумма вероятностей смены состояния (переходов):

Рис. 3.1. Размеченный граф состояний для задачи 1.

Для облегчения дальнейших расчетов составим матрицу вероятностей переходов,

,

где P_ij – вероятность перехода из i-го состояния в j-е.

Заметим, что сумма вероятностей в каждой строке (сумма вероятностей всех переходов из конкретного состояния) равна единице, а на диагонали матрицы стоят вероятности сохранения соответствующих состояний.

Используем формулу (3.1) для расчета вероятностей всех состояний последовательно для 0, 1, 2, 3 и 4 моментов времени:

p₁(0) = 1 (S₁ – начальное состояние системы)

p₂(0) = 0

p₃(0) = 0

p₄(0) = 0

p₁(1) = p₁(0)·P₁₁ + p₂(0)·P₂₁ + p₃(0)·P₃₁ + p₄(0)·P₄₁= 1·0,3 = 0,3

p₂(1) = p₁(0)·P₁₂ + p₂(0)·P₂₂ + p₃(0)·P₃₂ + p₄(0)·P₄₂= 1·0,4 = 0,4

p₃(1) = p₁(0)·P₁₃ + p₂(0)·P₂₃ + p₃(0)·P₃₃ + p₄(0)·P₄₃= 1·0,2 = 0,2

p₄(1) = p₁(0)·P₁₄ + p₂(0)·P₂₄ + p₃(0)·P₃₄ + p₄(0)·P₄₄= 1·0,1 = 0,1

p₁(2) = p₁(1)·P₁₁ + p₂(1)·P₂₁ + p₃(1)·P₃₁ + p₄(1)·P₄₁= 0,09

p₂(2) = p₁(1)·P₁₂ + p₂(1)·P₂₂ + p₃(1)·P₃₂ + p₄(1)·P₄₂ = 0,3·0,4+0,4·0,4 = 0,28

p₃(2) = p₁(1)·P₁₃ + p₂(1)·P₂₃ + p₃(1)·P₃₃ + p₄(1)·P₄₃ = 0,3·0,2+0,4·0,4+0,2·0,3 = 0,28

p₄(2) = p₁(1)·P₁₄ + p₂(1)·P₂₄ + p₃(1)·P₃₄ + p₄(1)·P₄₄ = 0,3·0,1+0,4·0,2+0,2·0,7+0,1·1 = 0,35

p₁(3) = p₁(2)· P₁₁ + p₂(2)·P₂₁ + p₃(2)·P₃₁+ p₄(2)·P₄₁= 0,09·0,3 = 0,027

p₂(3) = p₁(2)·P₁₂ + p₂(2)·P₂₂ + p₃(2)·P₃₂+ p₄(2)·P₄₂= 0,09·0,4+0,28·0,4 = 0,148

p₃(3) = p₁(2)·P₁₃ + p₂(2)·P₂₃ + p₃(2)·P₃₃+ p₄(2)·P₄₃ = 0,09·0,2+0,28·0,4+0,28·0,3 = 0,214

p₄(3) = p₁(2)·P₁₄ + p₂(2)·P₂₄ + p₃(2)·P₃₄+ p₄(2)·P₄₄ = 0,09·0,1+0,28·0,2+0,28·0,7+0,35·1 = 0,611

p₁(4) = p₁(3)·P₁₁ + p₂(3)·P₂₁ + p₃(3)·P₃₁ + p₄(3)·P₄₁ = 0,027·0,3 = 0,0081

p₂(4) = p₁(3)·P₁₂ + p₂(3)·P₂₂ + p₃(3)·P₃₂ + p₄(3)·P₄₂ = 0,027·0,4+0,148·0,4 = 0,07

p₃(4) = p₁(3)·P₁₃ + p₂(3)·P₂₃ + p₃(3)·P₃₃ + p₄(3)·P₄₃ = 0,027·0,2+0,148·0,4+0,214·0,3 = 0,1288

p₄(4) = p₁(3)·P₁₄ + p₂(3)·P₂₄ + p₃(3)·P₃₄ + p₄(3)·P₄₄ = 0,027·0,1+0,148·0,2+0,214·0,7+0,611·1 = 0,7931

Ответ: после четырех выстрелов цель будет поражена (S₄) с вероятностью 0,7931; иметь существенные повреждения (S₃) - с вероятностью 0,1288; иметь незначительные повреждения (S₂) – с вероятностью 0,07 и цель будет невредима (S₁) с вероятностью 0,0081.

2.

Постановка задачи:

Мастер забивает гвоздь, причем удары молотка совершаются в моменты времени t₁, t₂, t₃. Гвоздь может находиться в одном из следующих состояний:

S₁ – гвоздь не забит,

S₂ – гвоздь частично забит,

S₃ – гвоздь полностью забит.

Размеченный граф состояний приведен на рис.3.2. Начальным состоянием системы является состояние S₁.

Необходимо определить вероятности всех состояний системы после трех ударов.

Решение:

Для данной марковской цепи с дискретным временем граф состояний приведен на рис.3.2. Учитывая, что сумма вероятностей переходов равна единице, вероятность сохранения состояния системой можно определить как единица минус сумма вероятностей смены состояния (переходов):

Рис. 3.2. Размеченный граф состояний для задачи 2.

Для удобства расчетов составим матрицу вероятностей переходов,

,

где P_ij – вероятность перехода из i-го состояния в j-е.

Заметим, что сумма вероятностей в каждой строке (сумма вероятностей всех переходов из конкретного состояния) равна единице, а на диагонали матрицы стоят вероятности сохранения соответствующих состояний.

Используем формулу (3.1) для расчета вероятностей всех состояний последовательно для 0, 1, 2 и 3 моментов времени:

p₁(0) = 1 (S₁ – начальное состояние системы)

p₂(0) = 0

p₃(0) = 0

p₁(1) = P₁₁ = 0,1

p₂(1) = P₁₂ = 0,4

p₃(1) = P₁₃ = 0,5

p₁(2) = p₁(1)·P₁₁ + p₂(1)·P₂₁ + p₃(1)· P₃₁= 0,01

p₂(2) = p₁(1)·P₁₂ + p₂(1)·P₂₂ + p₃(1)· P₃₂= 0,1·0,4+0,4·0,2 = 0,12

p₃(2) = p₁(1)·P₁₃ + p₂(1)·P₂₃ + p₃(1)· P₃₃ = 0,1·0,5+0,4·0,8+0,5·1 = 0,87

p₁(3) = p₁(2)·P₁₁+ p₂(2)·P₂₁ + p₃(2)·P₃₁ = 0,001

p₂(3) = p₁(2)·P₁₂ + p₂(2)·P₂₂ + p₃(2)·P₃₂ = 0,01·0,4+0,12·0,2 = 0,028

p₃(3) = p₁(2)·P₁₃ + p₂(2)·P₂₃ + p₃(2)·P₃₃ = 0,01·0,5+0,12·0,8+0,87·1 = 0,971

p₁(4) = p₁(3)·P₁₁+ p₂(3)·P₂₁ + p₃(3)·P₃₁ = 0,001*0,1 = 0,0001

p₂(4) = p₁(3)·P₁₂ + p₂(3)·P₂₂ + p₃(3)·P₃₂ = 0,001·0,4+0,028·0,2 = 0,006

p₃(4) = p₁(3)·P₁₃ + p₂(3)·P₂₃ + p₃(3)·P₃₃ = 0,001·0,5+0,028·0,8+0,971·1 = 0,9715+0,0224= 0,9939

Ответ: после 4 ударов молотка гвоздь будет полностью забит (S₃) с вероятностью 0,9939; частично забит (S₂) - с вероятностью 0,006; не забит (S₁) – с вероятностью 0,0001.