5.3.3 Энтропия и её свойства

Напомним, что получение информации от источника снимает неопределённость знаний о состоянии наблюдаемого объекта. Если за время подготовки источником нового сообщения объект не изменяет своего состояния, то будет выдано такое же сообщение, как предыдущее. В таком случае можно уточнить вероятности . Если источник выдает сообщение , то элементный состав множества A нуждается в уточнении. Определяя ансамбль источника сообщений, надо включить в множество A все возможные сообщения и только возможные, количество которых равно числу возможных состояний объекта наблюдения. Множество A = {a₁,…a_k} сообщений называют алфавитом сообщений. Множество символов, с помощью которых наблюдатель представляет каждое сообщение, называют алфавитом источника. Эти алфавиты называют также первичным и вторичным соответственно. Не имеет никакого значения, в каком алфавите источника предоставляются сообщения. Модель источника учитывает лишь их состав и распределение вероятностей.

Пример. Рассмотрим источник сообщений с ансамблем, приведенным в табл. 5.1.

Таблица 5.1 – Статистическая характеристика источника сообщений А

	0,4	0,3	0,15	0,1	0,03	0,02
, бит	1,322	1,737	2,737	3,322	5,059	5,644

Каждое сообщение несёт количество информации , которое характеризует меру неожиданности этого сообщения. Определённое количество информации несёт и любая последовательность сообщений. Например, последовательность из четырёх сообщений несёт информацию

.

Наименее вероятным является сообщение . Чтобы оно появилось в потоке из n сообщений, должно быть . Если сравнить несколько потоков сообщений, достаточно больших, т.е. при , то окажется, что несмотря на существенно разное количество информации, которое они несут, удельное количество информации на одно сообщение, т.е. на один символ алфавита сообщений, будет почти одинаковым для всех потоков. Для нашего примера это будет величина, близкая к 2,057, в чем нетрудно убедиться, построив потоки, например, из 50 и 100 сообщений с учетом частоты повторения сообщений, пропорциональной вероятностям . Этот факт означает, что среднее количество информации, приходящейся на одно сообщение, не зависит от длинны их последовательностей. Чем больше длина, тем ближе сходятся значения удельного количества информации, в соответствии со статистическим законом больших чисел.

Удельное количество информации характеризирует источник сообщений в целом. Другой источник, с другим ансамблем сообщений, будет иметь другое удельное количество информации. Эта общая характеристика источника сообщений называется его энтропией H(A). Она является среднестатистической мерой неопределённости сведений наблюдателя относительно состояния наблюдаемого объекта.

Точно энтропию можно определить как математическое ожидание удельного количества информации, т.е. среднего количества информации, приходящейся на одно сообщение. Энтропию источника со статистически независимыми сообщениями, математическая модель которого представляется ансамблем А={a₁,…,a_k}, P={p₁,…,p_k}, называют безусловной энтропией. По этому определению, рассмотренная энтропия является безусловной. Она определяется формулой Шеннона

. (5.8)

Для рассматриваемого примера (табл.5.1) имеем:

Из выражения (5.8) для энтропии следует, что чем она больше, тем больше количество информации содержится, в среднем, в каждом сообщении данного источника, а значит, тем важнее передавать сообщения этого источника по КС.

Обсудим свойства безусловной энтропии. Первое свойство энтропии источника, как следует из (5.8), состоит в том, что она аддитивна.Количество информации в последовательности сообщений определяется количеством N сообщений и энтропией источника, т.е.

. (5.9)

Это означает, что если N-мерные последовательности А,…, А рассматривать как сообщения другого источника, то его энтропия будет в N раз больше, чем у источника сообщений А. По формуле (5.9) для нашего примера имеем: . Различие значений 8,229 и 5,703 объясняется небольшим значением N, тогда как вероятности определяются при условии .

Рассмотрим вырожденный источник с одним сообщением: , . Для этого источника , как это следует из (5.8). Если , то также имеем . Таким образом, энтропия всегда имеет положительное по знаку значение, либо равна нулю. Это второе свойство энтропии.

Если алфавит А={a₁,…, a_k) содержит k разных сообщений, то . Это третье свойство энтропии. Равенство имеет место лишь в случае равновероятных, статистически независимых сообщений a₁,…, a_k. Для них p₁=…=P_k=1/k. Число k называется объемом алфавита сообщений. Например, источник с k=8 равновероятными и независимыми сообщениями имеет энтропию