18. Сущность и содержание понятия энтропия.

Исторически первые шаги к введению понятия энтропии как меры степени неопределенности сообщений были сделаны в 1928 г. американским инженером-связистом Р.Хартли, предложившим за отправную точку для информационной оценки события принимать его неопределенность и количественно характеризовать степень неопределенности события с n различными исходами числом log n.

Как уже отмечалось выше, в 20-х гг. прошлого века инженеры-связисты предложили за отправную точку для информационной оценки событий принимать их неопределенность и количественно характеризовать степень неопределенности события логарифмом от числа возможных исходов события.

Пусть имеется источник с n-равновероятными исходами сообщений. В этом случае можно говорить о том, что неопределенность одного исхода находится в некоторой функциональной зависимости от количества возможных исходов: H = f (n).

Каковы логические посылки для выбора данной функции?

1. С увеличением числа возможных исходов неопределенность должна возрастать.

2. При n = 1, когда возможен только один исход, опыт приобретает априорную определенность и его неопределенность должна обращаться в ноль.

3. Логично считать, что неопределенность сложного опыта, заключающегося в одновременном выполнении двух опытов в двух независимых друг от друга источниках, должна быть больше, чем неопределенность каждого из этих опытов, так как к неопределенности одного из них добавляется неопределенность другого. Желательно, чтобы неопределенности составляющих опытов суммировались. Т.е. функция Н должна обладать свойством аддитивности.

Можно показать, что одновременно этим условиям удовлетворяет только логарифмическая зависимость:

если n – число возможных сообщений, то неопределенность, приходящаяся на одно сообщение, определяется логарифмом общего числа возможных сообщений: H = log n;

если существуют два независимых источника, которые содержат n₁ и n₂ возможных сообщений, то общее число возможных сообщений n = n₁  n₂, а неопределенность сложного опыта , состоящего из двух независимых опытов  и  с количествами равновероятных исходов n₁ и n₂, измеряется величиной:

Н() = log (n₁  n₂) = log n₁ + log n₂ = Н() + Н().

В приведенных выражениях для определения количества информации логарифмирование можно производить по любому основанию, однако наиболее удобно (и в настоящее время общепринято) использовать логарифмы по основанию два. В дальнейшем изложении данное условие не будет специально оговариваться, и везде будут использоваться логарифмы двоичные.

Пусть опыт  характеризуется таблицей вероятностей (табл.1).

Таблица 1

Вероятности исходов опыта 

Исходы опыта	А1	А2	…	Ai	…	An
Вероятности исходов	PA1	PA2	…	PAi	…	PAn

Тогда меру неопределенности такого опыта можно записать:

Н() = - P_A1  log P _A2 - P _A2  log P _A1 - ... - P _An  log P _An

или

_n

Н() = -  (P_Ai  log P _Ai ).

^{i = 1}

Эту величину называют энтропией опыта . Энтропия – это мера степени неопределенности, одно из базовых понятий классической теории информации.

Анализ данного выражения позволяет сделать следующие выводы:

• любое слагаемое в этой формуле всегда положительно, так как для любого исхода всегда справедливо неравенство: 0  P_Ai  1, следовательно, log P_Ai всегда отрицателен и, таким образом, энтропия любого события всегда положительна, т. е. Н  0;

• может быть строго математически доказано, что энтропия опыта равна нулю лишь в том случае, когда одна из вероятностей P_Ai равна единице, а все остальные равны нулю, т.е. когда исход опыта не содержит никакой неопределенности;

• наибольшей неопределенностью среди всех опытов, имеющих n исходов, характеризуется опыт, у которого все исходы равновероятны. Энтропия опыта с равновероятными исходами будет максимальной.

Данные выводы могут быть проиллюстрированы на примере зависимости энтропии опыта с двумя возможными исходами (n = 2) как функции вероятности одного из исходов P. В этом случае вероятность другого исхода будет тогда равна (1 - P), а соответствующее выражение для энтропии будет иметь вид:

H(p) = - p  log p - (1 - p)  log (1 - p).

На рис. 1. приведен график этой Н(р) для значений р в пределах от 0 до 1. Из графика видно, что при вероятности одного из исходов, равной 0 (и, следовательно, вероятности другого исхода, равной 1), и при вероятности первого исхода, равной 1 (и вероятности второго исхода, равной 0), энтропия Н опыта обращается в нуль, а при равной вероятности обоих исходов (р = 0,5) энтропия опыта достигает максимальной величины, т. е. равна 1.

Рис. 1. График зависимости Н(р) опыта с двумя возможными исходами от вероятности одного из исходов р