Энтропия источника дискретных сообщений

До сих пор определялось количество информации, содержащееся в отдельных сообщениях. Однако часто возникает потребность в характеристиках, которые позволяли бы оценивать информационные свойства источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации на одно сообщение.

Энтропия источника независимых сообщений

Статистическая мера информации была предложена К.Шен­ноном в 1948 году. При статистическом подходе используется понятие энтропии как меры неопределенности, учитывающей ве­роятность появления того или иного сообщения.

Пусть система имеет N состояний или событий (событие, как переход в состояние). С учетом того, что

расчет неопределенности осуществляется по формуле Шеннона:

Клод Шеннон предложил назвать эту величину энтропией.

Рис. Энтропия двоичной случайной величины для различных вероятностей

Пусть задана двоичная случайная величина, то есть N=2. Примем p₁=P, так как p₁+ p₂ =1 , то p₂=1- P. Тогда

H(x) = -P∙log₂P – (1-P)∙log2(1-P)

Построим график зависимости энтропии двоичной случайной величины от вероятности P. Как видно из рисунка при P=0.5 энтропия принимает максимальное значение.

Пример 1.1. Необходимо найти количество информации, поступающее от датчика двигателя. Двигатель может быть в двух состояниях: включенном и отключенном. Пусть P_вкл=0,99, тогда P_откл=1- P_вкл = 0,01.

I_вкл= -log 0.99 ≈ 0

I_откл= -log 0.01 = 6,64

Тогда среднее количество поступающей информации

I= P_вкл I_вкл + P_откл I_откл = 0,066 бит

Энтропия обладает следующими важными свойствами.

1. Всегда неотрицательна, т.к. вероятность не может быть больше 1.

2. Равна нулю в том случае, если одна из вероятностей равна 1 (исход опыта заранее известен), а остальные - нулю.

3. Аддитивна.

4. Имеет наибольшее значение, когда все вероятности равны между собой. При этом формула Шеннона приводится к виду:

=

Из последнего свойства вытекает, что если все события равновероятны и статистически независимы, то оценки количес­тва информации по Хартли и Шеннону совпадают. В случае не­равных вероятностей количество информации по Шеннону меньше информационной емкости системы (по Хартли).

Информация – это уменьшение (снятие) неопределенности. Количество информации только тогда равно энтропии, когда неопределенность ситуации снимается полностью, то есть

I=H.

В случае неполного разрешения имеет место частичная информация, являющаяся разностью начальной и конечной энтропий:

Если использовать двоичные логарифмы, то количество информации выражается в битах.

Пример 1.2. Пусть алфавит состоит из q=32 символов. Определить максимальное количество информации, содержащееся на одной странице текста (если считать, что на одной странице умещается n=1500 знаков).

Решение. Предполагая, что появление любой буквы в тексте равновероятно воспользуемся формулой Хартли:

I = n * log q = 1500 * log 32 = 7500 [бит]

Пример 1.3. Допустим, что компьютер работает в графичес­ком режиме. Используется видеоадаптер имеющий разрешение n = 640 * 200 точек и передающий 16 различных цветов. Определить количество статистической информации содержащейся на экране дисплея.

Решение. Одна точка (пиксель) содержит I = log₂m бит информации, где m - количество возможных состояний (цветов). В силу аддитивности статистической меры количества информа­ции

I _общ. = n * log m = 640 * 200 * log 16 = 128000 * 4 = 512000 [бит] = 512000/1024 = 500 Кбит