3. Измерение информации: вероятностный подход

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, для сообщения «первой выйдет из дверей здания женщина» или «первым выйдет из дверей здания мужчина» значение зависит от того, о каком здании идет речь. Если это станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины. А если это военная казарма? А если это женская консультация?

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. следующую формулу определения количества информации:

(3.1)

где I – количество информации;

N – количество возможных событий;

p_i – вероятность отдельных событий – рассчитывается как n/m (n – множество отдельных события, m – количество всех событий).

Данную формулу можно представить и в следующем виде:

(3.2)

Заметим, что при равных вероятностях p₁, ..., p_N, каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли:

(3.3)

Приведем пример расчета количества информации по формуле Хартли.

Задача 1. В коробке 50 шаров: 40 белых и 10 черных. Из коробки по очереди достают шары. Какое количество информации несет в себе сообщение о первом выпавшем шаре?

Решение:

Определить количество информации в сообщении о первом выпавшем шаре при события с неравной вероятностью можно по формуле Шеннона. Также, исходя из условий задачи можно определить, что таких событий два. Рассчитаем вероятность каждого:

p₁ – выпал белый шар – 40/50 = 4/5 = 0,8;

p₂ – выпал черный шар – 10/50 = 1/5 = 0,2.

Теперь найдем по формуле Шеннона количество информации I:

I = – (0,8 * log₂(0,8) + 0,2 * log₂(0,2)) = – (0,8 * –0,321 + 0,2 * –2,321) = – (–0,464 – 0,257) = 0,721 бита.

Ответ: I = 0,721 бита.

Таким образом, мы рассчитали информационный объем сообщения о первом выпавшем шаре. Но если нам необходимо узнать какое количество информации несет сообщение о конкретном выпавшем шаре, тогда мы должны были решить эту задачу другим образом:

Задача 2. В коробке 50 шаров: 40 белых и 10 черных. Из коробки по очереди достают шары. Какое количество информации несут в себе сообщения «первым выпал белый шар», «первым выпал черный шар»?

Решение:

Исходя из условий задачи можно определить, что всего возможны два не равновероятных события. Рассчитаем вероятность каждого из них:

p₁ – выпал белый шар – 40/50 = 4/5 = 0,8;

p₂ – выпал черный шар – 10/50 = 1/5 = 0,2.

Так как максимальная вероятность любого события равна 1, то возьмем вероятность каждого события по отношению к 1:

p₁ – выпал белый шар – 1 / 0,8 = 1,25;

p₂ – выпал черный шар – 1 / 0,2 = 5.

Теперь найдем информационный объем каждого из них по формуле Хартли:

а) I = log₂(1,25) = 0,32 бит.

б) I = log₂(5) = 2,32 бит.

Ответ: а) I = 0, 32 бит, б) I = 2,32 бит.

Такая разница в количестве информации между каждым сообщением может быть наглядно объяснена тем, что наблюдатель естественным образом больше ожидает выпадение белого шара нежели черного, и выпадение белого будет воспринято как заурядное событие, т.е. меньше уменьшающее неопределенность знаний.

Рассмотрим для примера еще одну задачу.

Задача 3. В алфавите 4 буквы (А,В,С,D), один знак препинания «.» и один разделительный (пробел). В тексте 10000 знаков, из них: A – 4000; B – 1000; C – 2000; D – 1500; точек – 500; пробелов – 1000. Какой объем информации в несет в себе этот текст?

Исходя из определенного условием задачи частотного алфавита можно найти вероятность встречаемости каждого символа текста и его информационный вес:

A: 4000/10000 = 0,4;               i_A = log₂(1/0,4) ≈ 1,32 бит;

B: 1000/10000 = 0,1;               i_B = log₂(1/0,1) ≈ 3,19 бит;

C: 2000/10000 = 0,2;               i_C = log₂(1/0,2) ≈ 2,32 бит;

D: 1500/10000 = 0,15;             i_D = log₂(1/0,15) ≈ 2,73 бит;

точка: 500/10000 = 0,05;         i_точка = log₂(1/0,05) ≈ 4,32 бит;

пробел: 1000/10000 = 0,1;      i_пробел = log₂(1/0,1) ≈ 3,19 бит.

Общий объем информации в тексте вычислим по формуле суммы произведений информационного веса каждого символа на число повторений этого символа:

I = i_A*n_A + i_B*n_B + i_C*n_C + i_D*n_D + i_точка* n_точка + i_пробел* n_пробел =

= 1,32 * 4000 + 3,19 * 1000 + 2,32 * 2000 + 2,73 * 1500 + 4,32 * 500 + 3,19 * 1000 ≈ 22841,84 бита.

Ответ: 22841,84 бит ≈ 2,8 Кбайт.

Ход решение задачи логически понятен. Но полученные результаты могут показаться несколько не логичными. Давайте попробуем разобраться в том, получен ли нами верный ответ либо нужно было производить вычисления иным способом?

В данном примере мощность алфавита была равна 6 символам. По формуле Хартли мы вычисляем, что информационный вес одного символа равен примерно 2,585 бита. Тогда, по алфавитному подходу, 2,585 * 10000 = 25850 бит ≈ 3,2 Кбайт – немного больше чем в полученном ранее ответе. Но важно заметить, что сейчас мы подсчитали общее количество информации исходя из того, что каждый символ кодируется равным количеством бит, также, как это обычно происходит в компьютере, тогда как в задаче – каждому символу был присвоен информационный объем, соответствующий частоте его встречаемости: часто встречающимся символам – самый минимально возможный объем, редко встречающимся – больше. Таким образом произошло рациональное уплотнение информации, примерно также, как и при процессе архивации данных программами архиваторами. Кроме того, стоит учесть, что объем в 2,585 байта представлен теоретически, на практике, в компьютере он будет округлен до 3 бит (т.к. в технических средствах нельзя представить информацию меньше бита) что увеличило бы информационный объем текста с 3,2 Кбайт до 3,7 Кбайт. Разница между расчетным объемом информации и тем, что требуется на практике для ее представления называется – избыточностью. Именно на методах уменьшения избыточности информации реализована работа программ архиваторов.