20.Энтропия.

Понятие энтропия было введено Клаузиусом как одна из основных термодинамических функций. Шеннон обобщил это понятие , определив энтропию как меру неопределенности выбора дискретным источником состояний из ансамбля N.

(1.1)

Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника.

Основание логарифма в (1.1) определяет единицу измерения. При основании 2 единица измерения бит, при основании 10 – дит, при основании e – нат.

В случае равновероятных состояний источника формула Шеннона имеет вид:

- формула Хартли. (1.2)

Свойства энтропии

1. непрерывна на интервале , т.е. при малых

изменениях p величина H изменяется мало.

2. симметрична относительно p, т.е. не изменяется при

любой перемене аргументов .

3. Если событие состоит из двух событий и с

Вероятностями и , , то

4. Энтропия всегда неотрицательна.

5. Энтропия равна нулю, когда вероятность одного из событий

равна единице.

6. Энтропия имеет наибольшее значение, когда все вероятности

равны между собой.

,

при этом

.

21. Энтропия объединения двух статистически независимых источников информации

Для независимых случайных событий X и Y вероятность совместного наступления объединения двух событий x_i и y_j определяется как произведение вероятностей появления каждого из этих событий, то есть p(x_i; y_j) = p(x_i) · p(y_j). Учитывая это энтропию объединения можно подсчитать по следующей формуле:

то есть энтропия объединения двух независимых источников X и Y равна сумме энтропий этих источников. http://peredacha-informacii.ru/ То же можно утверждать об энтропии объединения многих независимых случайных источников, то есть

22. Условная энтропия

Понятие условной энтропии в теории информации используется при определении взаимозависимости между:

а) символами кодируемого алфавита (между состояниями после­довательно выбираемыми одним источником);

б) для определения потерь при передаче информации по каналам связи;

в) при вычислении энтропии объединения.

Пусть i - произвольное состояние источника сообщения, j - произвольное состояние адресата, тогда частная условная энтропия определяет условную энтропию на каждое i-ое состояние источника A и находится по формуле:

(2.1)

Общая условная энтропия В относительно сообщения A характе­ризует количество информации, содержащейся в приемнике B, когда известно, что передается A, (или средняя неопределенность, при­ходящаяся на одно состояние ансамбля В при известных состояниях ансамбля A).

(2.2)

23. Энтропия объединения двух статистически связанных ансамблей

H(B/A)≤H(B) и H(A/B)≤H(A).

В общем случае, если мы передаем m сигналов A и ожидаем по­лучить m сигналов B, влияние помех в канале связи полностью опи­сывается канальной матрицей. Со стороны источника сообщений ка­нальная матрица, описывающая канал связи, имеет вид:

а/в	B1	b2	….	bj	…	bm
а1	P(b1/a1)	P(b2/a1)	…	P(bj/a1)	…	P(bm/a1)
а2	P(b1/a2)	P(b2/a1)	….	P(bj/a2)	….	P(bm/a2)
….	….	….	…..	….	….	…
аi	P(b1/ai)	P(b2/ai)	….	P(bj/ai)	….	P(bm/ai)
…	….	….	…..	….	….	….
аm	P(b1/am)	P(b2/am)	…..	P(bj/am)	…..	P(bm/am)

Вероятности, расположенные по диагонали, определяют пра­вильный прием остальные - ложный.

Значение цифр, заполняющих колонки канальной матрицы, обыч­но уменьшаются по мере удаления от главной диагонали, и при пол­ном отсутствии помех, все, кроме цифр, расположенных по главной диагонали, равны нулю.

Энтропия объединения используется для вычисления энтропии совместного появления статистически зависимых сообщений. Для ансамбля переданных сообщений A и принятых сообщений В энтропия объединения:

бит/два символа (2.3)

В случае независимых ансамблей:

H(A,B)=H(A)+H(B)

Энтропия объединения и условная энтропия связаны между со­бой следующими соотношениями:

H(A,B)=H(A)+H(B/A)=H(B)+H(A/B) (2.4) , Энтропия объединения может быть подсчитана при помощи мат­рицы вида:

P(a_1,b₁) p(a₁,b₂) . . . p(a₁,b_m)

P(a_2,b₁) p(a₂,b₂) . . . p(a₂,b_m)

P(a_i,b_j)= . . . . . . . . . . . .

P(a_m,b₁) p(a_m,b₂) . . . p(a_m,b_m)