1.1. Энтропия и ее свойства

Рассмотрим некоторую систему Х, которая может принимать конечное множество состояний х₁, х₂, ... х_n. Вероятность возникновения каждого состояния р₁, р₂, ... р_n.

Примером системы Х может быть алфавит, у которого под множеством состояний понимаются символы алфавита

В качестве меры неопределенности этой системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системы может быть определена как сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком.

(1)

Энтропия обладает рядом свойств:

1. Энтропия системы всегда больше нуля.

2. Энтропия обращается в ноль, когда одно из состояний достоверно, а другие невозможны.

3. Энтропия принимает максимальное значение, когда все состояния равновероятны.

4. Энтропия обладает свойством аддитивности, когда несколько систем объединяются в одну, их энтропии складываются.

Рассмотрим простейший случай. Система имеет два состояния и эти состояния равновероятны.

хi	х1	х2
рi	0,5	0,5

По формуле (1) имеем:

Н(х)=-(0,5log₂ 0,5+0,5log₂0,5)=1 бит/символ

Логарифм в формуле может быть взят при любом основании а>1. Выбор основания равносилен выбору определенной единицы измерения энтропии. На практике удобнее всего пользоваться логарифмами при основании два и измерять энтропию в двоичных единицах или битах. Таким образом, это энтропия одного двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.

Для вычисления энтропии вводят специальную функцию:

,

Тогда формула энтропии примет следующий вид:

При выполнении преобразований часто более удобной оказывается другая форма записи энтропии, а именно, представление ее в виде математического ожидания

,

где logР(х) – логарифм вероятности любого(случайного) состояния системы, рассматриваемый как случайная величина.

1.2. Энтропия сложной системы

Под объединением двух систем X и Y с возможными состояниями x₁, x₂, …, x_n, y₁, y₂, …, y_m понимается сложная система (X, Y), состояние которой (x_i,y_j) представляют собой все возможные комбинации состояний x_i,y_j . При этом число возможных состояний системы (X, Y) равно nm.

В качестве примера сложной системы может быть взят алфавит, имеющий двухбуквенные сочетания.

Обозначим p_ij вероятность того, что система (X, Y) будет находиться в состоянии (x_i,y_j). Тогда вероятности p_ij можно представить в виде таблицы.

	x1	x2	…	xn
y1	p11	p21	…	pn1
y2	p12	p22	…	pn2
…	…	…	…	…
ym	p1m	p2m	…	pnm

Энтропия сложной системы равняется сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком

.

Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания

.

Если системы X и Y независимы одна от другой, то при объединении систем их энтропии складываются

.

Это положение называется теоремой сложения энтропий.