2.2.3. Условная энтропия.

Пусть  и  - зависимые события. В общем случае для  имеет место:

A1	А2	…	Ak
PA1	PA2	…	PAk

Для  в общем случае:

B1	B2	…	Bk
PB1	PB2	…	PBk

Из теории вероятностей известно:

Применив это к событиям  и  получим: H( )=-P(A1B1)logP(A1B1)-P(A1B2)logP(A1B2)-…-P(A₁B_L)log(A₁B_L)-…- P(AkB1)logP(AkB1)-P(AkB2)logP(AkB2)-…- P(A_kB_L)log P(A_kB_L).

Рассмотрим первую строчку: -P(A₁)P_A1(B₁)(logP(A₁)+logP_A1(B₁))-P(A₁)P_A1(B₂)(logP(A₁)+logP_A1(B₂))-…-P(A₁)P_A1(B₁)(logP(A₁)+logP_A1(B₁))-… -P(A₁)P_A1(B_L)(logP(A₁)+logP_A1(B_L)) = - P(A1)( P_A1(B₁)+P_A1(B₂)+…+ P_A1(B_L))logP(A1)+

{=1}

+P(A1)(- P_A1(B₁)log P_A1(B₁)- P_A1(B₂)log P_A1(B₂)-…- P_A1(B_L)log P_A1(B_L))= - P(A₁)logP_A1+ P(A₁)H_A1().

Выделенное жирным курсивом - частная условная энтропия P при условии, что A₁ произошло. Обозначается H_A1().

Аналогичными преобразованиями все оставшиеся строки для энтропии H( ) могут быть приведены к виду:

H( )=H()+H_().

Группа H_() называется обшей условной энтропией  относительно .

Для русского алфавита (m=32) имеем: H₀(A)=log32=5[бит]=H_max

Если нам известны безусловные вероятности появления отдельных букв, можно вычислить энтропию русского алфавита:

(Кстати, для украинского алфавита н,(а) = 4,57[бит])

Если известны вероятности появления одной буквы после другой, то имеет место условная энтропия 1-го порядка: H₂(A)=3,52[бит]

Если известны вероятности трёхбуквенных сочетаний, то имеет место условная энтропия 2-го порядка: H₃(A)=3,0[бит]

Выводы:

1. Русский алфавит обладает значительной избыточностью (более 2 бит на символ, т.е. ~ 40%).

2. Для кодирования букв русского алфавита в среднем достаточно 3 бита на символ.

Условная энтропия широко применяется при определении информационных потерь при передаче информации по каналам связи.

Пусть дан некоторый канал связи. На его входе источник генерирует символы iи направляет их в канал. На выходе канала приёмник получает из канала символыi.

Тогда, Н_Ai() - неопределённость того, что отправив Аi, получаем Bj; H_Bj() - неопределённость, которая остаётся после принятия Bj, в том, что было отправлено Aj.

Если помех нет, то при этом H(A) = H(B) . Иначе, если имеются потери, то статистически это можно описать в виде канальных матриц со стороны источника и со стороны приёмника. Канальная матрица со стороны источника.

	B1	B2	…	Bl
A1	PA1(B1)	PA1(B2)	…	PA1(Bl)
A2	PA2(B1)	PA2(B2)	…	PA2(Bl)
…	…	…	…	…
Ak	PAk(B1)	PAk(B2)	…	PAk(Bl)

Канальная матрица со стороны приёмника.

	B1	B2	…	Bl
A1	PB1(A1)	PB2(A1)	…	PBl(A1)
A2	PB1(A2)	PB2(A2)	…	PBl(A2)
…	…	…	…	…
Ak	PB1(Ak)	PB2(Ak)	…	PBl(Ak)

В клетках матрицы расположены вероятности, описывающие события А и В. При этом:

P_Ai(B_j)- вероятность приема символа B_j если был отправлен символ А_i

P_Bi(A_k)- вероятность отправления символа A_k если был

принят символ B_i

Свойства канальных матриц.

1°. Канальные матрицы - квадратные матрицы.

2°. Максимальные вероятности лежат на главной диагонали.

3°. Вероятности убывают по мере удаления от главной диагонали.

4°. Сумма вероятностей в строке равна единице для канальной матрицы со стороны источника и сумма вероятностей в столбце равна единице для канальной матрицы со стороны приёмника.

Потери информации, приходящиеся на один символ первичного алфавита, описываются энтропией Н_Ai(). Потери для всего канала описываются энтропией Н_()

Свойства условной энтропии.

1°. Общая условная энтропия  относительно  всегда больше либо равна нулю.

ЕслиP(Ai)0, i=1,k то H_ ()=0 в том и только в том случае, если H_A1()=H_A2()=…=H_Ak()=0

т.е. в случае, если при любом исходе  результат полностью определён. При этом H()=H()

На практике это соответствует каналу без шума.

Если  и  независимы, то

H_A1()=H_A2()=…=H_Ak()=H()

H_()=H()H()=H()+H()

2°. Событие  может только уменьшить (или не изменить) неопределённость ; H()-H()H_() H()

Информационные характеристики канала связи можно использовать для улучшения точностных характеристик передаваемых сообщений путём двойного упорядочивания.

1. Определяем потери на одно кодовое слово и упорядочиваем их по убыванию потерь.

2. Упорядочиваем первичный алфавит по убыванию вероятностей, и далее присваиваем кодовым словам символы первичного алфавита.

3). Энтропия объединения событий  и  обладает симметрией: H()=H()

Из этого следует: H()=H()+H_()= H()+H_ () H_()= H()-H() H_ ()=H()-H()

№101. Энтропия и информация. Свойства информации.