Композиция независимых испытаний.

Композиция двух испытаний .

Рассматриваются два испытания, каждое из которых имеет конечное количество элементарных событий .

Пусть (W₁, F₁, P₁) и (W₂, F₂, P₂) - вероятностные пространства, которые соответствуют этим испытаниям, W₁={E₁, E₂, ... , }, W₂={Q₁, Q₂, ... , }, F_k состоит из всех подмножеств множества W_k, а вероятности сложных событий С₁ÍW₁ і С₂ÍW₂ в испытаниях

задаются с помощью вероятностей элементарных событий P₁(E_i), , и P₂(Q_j), .

Заметим, что P₁(×) и P₂(×) - вообще говоря разные вероятностные меры.

Композицией двух испытаний называется сложное испытание, которое состоит в проведении первого и второго испытания, элементарными событиями которого есть всевозможные пары вида (E_i, Q_j), , .Таким образом пространство элементарных событий композиции двух испытаний есть прямое произведение пространств W₁ и W₂, то есть

W=W₁´W₂.

Пример. Первое испытание состоит в подкидывании симметричной монеты, W₁={O,P}, второе испытание - подбрасывании игрального кубика, W₂={Q₁, Q₂, ... , Q₆}. Пространство элементарных событий композиции этих двух испытаний - W={(O,Q₁),...,(O,Q₆),(P,Q₁),...,(P,Q₆)}.

Как сложные события для композиции рассматриваются всякие возможные подмножества множеств, то есть всякие теоретико-множественные суммы пар вида (E_i, Q_j) (и невозможное событие Æ). Таким образом W и F для композиции построены.

Для полного задания вероятностного пространства композиции необходимо еще определить вероятностную меру Р(×) на F. Но, вообще говоря, только по P₁(×) и P₂(×) это сделать невозможно.

Рассмотрим отдельный случай композиции.

Два испытания называются независимыми, если для всех пар вероятность Р(×) в композиционном пространстве определяется соотношением:

P(E_i,Q_j)=P₁(E_i)P₂(Q_j).

Вероятность сложного события С для композиции независимых испытаний следует положить .

Вероятность Р, которая так построена, называется прямым произведением вероятностей P₁ и P₂ и обозначается

P=P₁´P₂.

Испытания независимы, если неоднозначность результата каждого испытания определена несвязанными между собой группами случайных факторов.

Общая структура независимых событий в композиционном пространстве (W, F, P) имеет следующий вид.

Рассмотрим событие AÎF

,

то есть вследствие первого испытания происходит одно из событий , а вследствие второго испытания происходит все, что угодно, то есть одно из событий Q₁, Q₂, ... , .

Пусть сложное событие BÎF есть

,

то есть вследствие первого испытания происходит все что угодно (одно из событий E₁, E₂, ... , ), а вследствие второго испытания происходит одно из событий .

Покажем , что А и В независимы :

Р(АВ)=Р(А)Р(В)

Действительно,

,

.

Очевидно,

.

Тогда

,

что и нужно было доказать.

Композиция n независимых испытаний.

Совершенно аналогично строится схема композиции n независимых испытаний.

Пусть проводятся n испытаний с конечными пространствами элементарных событий

.

Сложными событиями в каждом і-м испытании считаются возможные подмножества множества W_і.

Заданы вероятностные меры Р_і(×), которые соответствуют каждому из испытаний. Таким образом имеем n вероятностных пространств (W_і, F_i P_i), .

Результат совместного проведения n испытаний считаем результатом проведения одного сложного испытания (композиции).

Композиционное пространство W строим как прямое произведение пространств W_i, ,

W=W₁´W₂´¼´W_n,

то есть в качестве элементарных событий композиции берутся всевозможные n-ки вида

.

Сложными событиями в композиционном пространстве являются все возможные теоретико-мно­жественные суммы указанных n-ок.

Испытания называются независимыми, если вероятность каждой n-ки определяется соотношением

.

Вероятности сложных событий в композиционном пространстве определяются обычным для дискретных пространств образом - как сумма вероятностей n-ок, входящих в данное сложное событие .

Построенная таким образом вероятность Р для событий композиционного пространства называется прямым произведением вероятностей Р_і и обозначается

Р=Р₁´Р₂´¼´Р_n.

В построенном вероятностном пространстве (W, F, P) выделим класс событий А, которые называются прямоугольниками. Этот класс определяется следующим образом. Пусть А_іÎF_i, . Прямоугольник

A=A₁´A₂´¼´A_n

состоит из тех и только тех n-ок , для которых , . Из определения вероятности Р для композиции независимых испытаний выходит, что вероятность прямоугольника А равняется:

Общая структура независимых событий в композиционном пространстве задается прямоугольником вида

=W₁´W₂´¼´W_i-1´A_i´W_i+1´¼´W_n, то есть событиями, которые содержательно можно описать следующим образом: в і-м испытании происходит событие А_і, в остальных испытаниях происходит все, что угодно.

Из полученного ранее соотношения для вероятности прямоугольника выходит

Р( )=Р_і(А_і).

Так как А=А₁´А₂´¼´А_n= , то из того же соотношения следует

,

то есть при различных і события независимы .

Ввиду того, что в прямоугольниках в качестве могут фигурировать W_і, то ясно ,что речь идет о независимости в совокупности.

Элементы теории информации .

Рассмотрим два вероятностных пространства с конечным числом элементарных событий (каждое зададим таблицей, в верхней строке которой указываются элементарные события, в нижней - вероятности этих событий в испытании ):

І ІІ

Очевидно, что степень неопределенности результата испытания (до испытания) в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в первом пространстве ни одному из событий нельзя отдать предпочтения, а во втором почти наверное произойдет событие Е₃`.

Возникает вопрос: нельзя ли каким либо образом измерять степень неопределенности, присущую вероятностному пространству. Первым, кто предложил выражение для меры неопределенности, был К. Шеннон^* .

Пусть некоторое вероятностное пространство задано таблицей:

.

Для измерения степени неопределенности, присущей данному пространству, вводят функцию

,

называемую энтропия; при этом принимается, что при р_к=0 р_кlog₂p_k=0.

Самостоятельно показать, что:

1. Если вероятностное пространство не имеет неопределенности, то есть какое - то р_і=1, а остальные равны нулю, то энтропия равна нулю .

2. Если элементарные события равновероятны, то есть , , тогда энтропия принимает максимальное значение (выразить одно из р_і через остальные при условии , подставить в Н, а затем полученную функцию исследовать на экстремум ).

За единицу неопределенности принимается неопределенность вероятностного пространства с двумя равновероятными элементарными событиями:

,

.

Эта единица называется бит (от английского binary digit - двоичная единица).

Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.

Рассмотрим два вероятностных пространства

, .

Проведем композицию двух испытаний. Для композиционного пространства таблица имеет следующий вид:

.

Очевидно, что максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний:

.

Таким образом, для композиции двух испытаний (не обязательно независимых) имеем:

0 £ H(W₁´W₂) £ H(W₁) + H(W₂).