1.2.1.1. Энтропия и средняя энтропия простого события

Рассмотрим подробнее понятие энтропии¹ в разных вариантах, так как оно используется в шенноновской теории информации. Энтропия - мера неопределенности некоторого опыта. В простейшем случае его исход зависит от выбора одного элемента из множества исходных. Множество исходных элементов называется выборочным пространством. Совокупность событий, состоящих в выборе различных элементов из выборочного пространства, называется полной группой событий.

Вероятности событий ─ положительные числа со значениями, принадлежащими интервалу [0,1], а их сумма равна 1. Выборочное пространство и его вероятностные характеристики в совокупности представляют собой ансамбль сообщений. Допустим, имеется полная группа событий, заключающихся в получении одного из множества сообщений: а₁, а₂, ..., а_m.

Обозначим вероятности появления сообщений: P₁, P₂, ..., P_m.

В этом случае энтропия конкретного k-го сообщения равна:

H_k = - log₂(P_k) .

Чаще, однако, используют усредненную по всем возможным сообщениям энтропию, которая в данном случае, если сообщения получаются от источника сообщений, называется энтропией источника сообщений.

Как известно из курсов теории вероятностей и математической статистики, среднее значение дискретно распределенной случайной величины Х, независимо принимающей значения из ряда Х₁, Х₂, ..., Х_m с вероятностями P₁, P₂, ..., P_m, равно: .

Используя эту формулу для усреднения энтропии Н_k, получим:

Здесь Н является средней неопределенностью, приходящейся на одно сообщение, т.е. энтропией источника сообщений.

Исследуем эту формулу подробнее. Предположим, что сообщения равновероятны. Тогда P_k = 1/m .

Подставив эту вероятность в формулу энтропии источника, получим:

.

Заметим, что эта формула совпадает с выражением для количества информации по Хартли. Таким образом, количество информации по Хартли можно считать частным случаем количества информации по Шеннону, когда события равновероятны.

Исследуем теперь область значений, которые может принимать энтропия.

Поскольку вероятность P_k лежит в интервале от 0 до 1, слагаемые в формуле энтропии всегда либо отрицательны, либо равны 0. Последнее получается, если либо P_k=1, либо P_k=0 (в этом случае получается неопределенность типа , которую можно разрешить с помощью правила Лопиталя²). Поэтому энтропия Н может быть только положительной или равной 0.

Найдем теперь, при каком наборе вероятностей Р_k энтропия Н максимальна (ее минимум =0). Это задача на условный экстремум функции многих вещественных аргументов.

Таким образом, ищется максимум функции:

при условии, что .

Это задача на поиск условного экстремума (максимума, минимума или седловой точки). Для решения таких задач удобно использовать метод Лагранжа, называемый еще методом множителей Лагранжа. Далее он будет часто использоваться, поэтому опишем без доказательства³ его суть (вообще-то его должны были рассматривать в курсе математики).

Метод множителей Лагранжа

Если нужно найти экстремум (максимум, минимум или седловую точку) функции n переменных f(x₁, x₂, …, x_n), связанных k<n условиями зависимости, которые могут быть записаны в виде u_i(x₁, x₂, …, x_n)=0, при i=1,2,…k, то вводят k неопределенных множителей _i и рассматривают новую функцию Ф(x₁, x₂, …, x_n, ₁, ₂, …, _k) n+k аргументов:

Значения аргументов, при которых достигается экстремум, находится путём решения системы из n+k уравнений:

Для определения того, какой из эстремумов найден (максимум, минимум или седловая точка) проверяются знаки вторых производных функции Ф по всем аргументам x в точке экстремума. Если все эти производные положительны, найден минимум, отрицательны – максимум, знаки разные – седловая точка.

Используем теперь метод множителей Лагранжа для определения значений вероятностей, при которых энтропия максимальна.

Значит, следует найти максимум функции при условии .

Согласно методу Лагранжа все k условий (оно у нас сейчас одно, т.е. k=1) нужно привести к виду: u_i(x₁, x₂, …, x_n)=0, при i=1,2,…k. В нашем конкретном случае получаем: .

Образуем вспомогательную функцию

.

Составляем и преобразуем систему уравнений:

Учтем, что:

.

Из верхних уравнений находим, что , т.е. все P_j равны между собой и значит, как следует из нижнего уравнения, равны 1/m .

Надо теперь выяснить, какой вид экстремума нами найден. Для этого проанализируем знаки второй производной функции Ф:

, т.к. P_j>0 и ln2>0 .

Следовательно, нами найдет именно максимум. Значит, энтропия источника максимальна тогда, когда все выдаваемые им сообщения равновероятны, а формула количества получаемой при этом информации совпадает с формулой количества информации по Хартли.