5.3 Марковские процессы в теории надежности

Марковские процессы играют чрезвычайно важную роль в раз­личных приложениях. Хотя эти процессы представляют собой весьма специальный класс случайных процессов, значение их для теории надежности, особенно для решения задач прогнозирова­ния характеристик надежности, очень велико. При определении характеристик надежности оборудования сложных технологиче­ских систем в процессе эксплуатации и прогнозирования остаточ­ного ресурса наибольший интерес представляют процессы Марко­ва с непрерывным временем, которые и будут здесь рассмотрены.

Марковское свойство. В основе понятия марковского процесса лежит представление об изменяющихся во времени системах, обла­дающих свойством «отсутствия последействия» («отсутствия памя­ти»). Пусть имеется некоторое вероятностное пространство {Ω, ψ, P}. Время изменяется на некотором отрезке (интервале, полуинтерва­ле) τ (например, τ = [0, ∞]), содержащемся во множестве всех дейст­вительных неотрицательных чисел. Поток σ-алгебр за­дан, т. е. задано такое семейство σ-алгебр , что Задана также функция двух переменных со значениями в некотором измеримом пространстве (X, β) такая, что ξ(t) при каждом является измеримым отобра­жением пространства в (X, β). Тем самым задан случайный процесс ξ(t) подчиненный потоку σ-алгебр .

Случайный процесс ξ(t), подчиненный потоку σ-алгебр , обла­дает марковским свойством относительно этого потока, если при всех с вероятностью 1 выполняется соотношение

Такой процесс принято называть марковской случайной функ­цией. Измеримое пространство (X, Ψ) называется фазовым про­странством, а точки фазового пространства — состояниями.

Если ξ(t) интерпретировать как состояние некоторой системы в момент времени t, то марковское свойство означает, что такая система обладает свойством отсутствия последействия: при про­гнозировании поведения системы в «будущие» моменты времени по наблюдениям за системой во все «прошедшие» моменты време­ни вплоть до «настоящего» существенным является знание состоя­ния системы лишь в «настоящий» момент времени.

Вероятность перехода. Пусть — марковская случай­ная функция. Следствием марковского свойства и формулы пол­ной вероятности является соотношение

(5.17)

справедливое почти наверное относительно меры Р при всех и Это соотношение называется уравнени­ем Колмогорова — Чепмена.

Особый интерес представляет случай, когда для условной ве­роятности существует условная вероятность, т. е. такая функция что выполня­ются условия:

а) при фиксированных s, t, Г функция P(s, x, t, Г) является ве­роятностной мерой на (X, β);

б) при фиксированных s, t, Г функция P(s, х, t, Г) измерима;

в) с вероятностью 1 при всех s, t, Г

Если для данной марковской случайной функции существует функция P(s, х, t, Г), удовлетворяющая условиям (а...в), то она называется вероятностью перехода (переходной вероятностью). В терминах вероятности перехода уравнение Колмогорова — Чеп-мена запишется в виде

где

Определение марковского процесса. При изучении марков­ского свойства удобно не фиксировать начальное распределение процесса (да и сам начальный момент времени), а рассматривать целое семейство марковских случайных функций, «начинающих­ся» в произвольный момент времени в произвольной точке фазо­вого пространства. Это означает, что на вероятностном простран­стве имеется уже не одна фиксированная вероятностная мера, а семейство мер зависящих от временной и фазовой перемен­ных и связанных между собой марковским свойством. При этом мера интерпретируется как условная вероятность некоторого события, которое может произойти после момента времени s при условии, что ξ(s) = х.

Если заданы пространство элементарных событий се­мейство σ-алгебр функция двух переменных со значениями в измеримом пространст­ве (X, β) и семейство вероятностных мер на σ-алгебре , то система этих объектов называется марковским процес­сом при выполнении следующих условий:

1) при любых функция есть β-измеримая функция от х;

2) при любых с вероятностью выполнено соотношение

Строгая марковость. Случайную величину υ = υ(ω) со значе­ниями в (s, ∞) будем называть марковским моментом относитель­но потока σ-алгебр , если при всех выполняется условие . Марковские моменты называют иногда величинами, не зависящими от будущего, так как наглядно усло­вие означает, что наступление или ненаступление со­бытия зависит лишь от явлений, наблюдаемых в течение времени от момента s до момента t.

Марковский процесс ξ(t) в фазовом пространстве (X, β) назы­вается строго марковским, если выполнены следующие условия:

1. при фиксированном вероятность перехода P(s, x, t, Г) процесса -соизмеримой функции от (s, x, t) на множестве здесь σ-алгебра борелевских подмножеств полуоси [0, ∞];

2. для любых и произвольного марков­ского момента и относительно потока σ-алгебр выполнено соотно­шение

на множестве относительно меры

Другими словами, марковский процесс ξ = ξ(t) называется стро­го марковским, если для любого марковского момента времени и при условии ξ(υ) = х, где х — известное состояние, поведение про­цесса при t > υ не зависит от его поведения до момента υ, причем переход из х = ξ(υ) в то или иное состояние у через время h осуще­ствляется с такими же вероятностями, как и в случае фиксиро­ванного момента υ = s. Точнее, условная вероятность оказаться через время h в множестве Г равна

где P(s, х, t, Г) — вероятность перехода марковского процесса.

Если ξ(t) есть случайный вектор в n-мерном пространстве и его распределение вероятностей при условии ξ(s) = x имеет плот­ность , то

(5.18)

Условную плотность вероятности обычно называют переходной плотностью марковского процесса ξ(t).

Однородные марковские процессы. Марковский процесс ξ(t) называется однородным, если вероятность перехода P(s, x, t, Г) обладает тем свойством, что функция P(s, x, s + h, Г) не зависит от s. Если положить Р(h, х, Г) = P(s, x, s + h, Г), то для конечно­мерных распределений процесса будет иметь место равенство

Таким образом, вместо семейства мер зависящих от вре­менной и пространственной переменных, в однородном случае дос­таточно семейства мер зависящих лишь от пространст­венной переменной. Другими словами, каждый раз, когда процесс выходит из состояния х в момент времени s, мы производим сдвиг времени так, чтобы точка s стала начальной (нулевой). Естествен­но, что при этом необходимо сдвигать и все траектории процесса. Так как закономерности поведения однородного марковского про­цесса на любом интервале времени (s, t) при известном состоянии ξ(s) = х не зависят от расположения интервала (s, t) на временной оси, то для переходных вероятностей P(s, х, t, Г) это означает фак­тическую зависимость лишь от разности t — s, а не от t и s, как в общем случае P(s, x, t, Г) = P(t - s, x, Г).

Для однородного марковского процесса должны выполняться следующие условия:

1. при любых функция изме­рима как функция от х, причем

2. для любых от­носительно меры на множестве ;

3. для каждого найдется такое , что и при

Условие 2 соединяет свойство марковости процесса и свойство его однородности во времени. Условие 3 означает, что вместе с ка­ждой траекторией процесса произвольный кусок ее после некото­рого момента времени также является возможной траекторией.

Функция P(t, х, Г) — вероятность перехода однородного мар­ковского процесса - удовлетворяет уравнению Колмогорова — Чепмена:

(5.19)

где При этом

Если при , то вероятность пе­рехода называется нормальной, а соответствующий процесс — нормальным.

Инфинитезимальный оператор марковского процесса. Для изучения марковских процессов эффективным средством является теория полугрупп. Пусть ξ(t) — однородный марковский процесс в фазовом пространстве (X, β) с вероятностью переходаP(t, x, Г). Обо­значим через В(Х) банахово пространство во всех вещественных ограниченных β-измеримых функциях на X с нормой Рассмотрим на В(Х) семейство операторов определяемых формулой

Из свойств вероятности перехода следуют свойства семейства операторов :

1. при каждом является линейным ограниченным опе­ратором, отображающим В(Х) в В(Х), причем

2. при всех

3. если при всех то при всех и

4. если то

5. если при всех при , где причем то при

Семейство операторов , удовлетворяющих условиям 1 и 2, называется сжимающей полугруппой операторов. А всякий однородный марковский процесс в фазовом пространстве (X, β) порождает сжимающую полугруппу операторов удовле­творяющую условиям 3...5. В свою очередь, всякая сжимающая полугруппа операторов, действующих в В(Х) и удовлетворяющих условиям 3...5, порождает однородную вероятность перехода, при­чем

Оператор А полугруппы определяемый формулой

называется инфинитезимальным оператором марковского процес­са. Область определения оператора D_A состоит из всех тех функ­ций для которых предел

существует равномерно относительно . Очевидно, что

Свойства инфинитезимального оператора:

1. замыкание множества (в смысле сходимости по норме) совпадает с

2. если и

3) если то функция дифференцируема по t(t > 0) и

(5.20)

Уравнение (5.20) называется уравнением эволюции;

4) оператор A замкнут.

Инфинитезимальный оператор А является линейным операто­ром и позволяет перейти от нелинейных уравнений Колмогоро­ва — Чепмена к линейным уравнениям, которые могут быть интегро-дифференциальными уравнениями и уравнениями в част­ных производных параболического типа.