Что такое логарифм

Для тех, кто забыл или вовсе не знал, что такое логарифм или логарифмическая функция, дадим небольшое пояснение.

Логарифм числа b по основанию a определяется как показатель степени, в которую нужно возвести a, чтобы получить b. Запись означает, что

Логарифмическая функция представляет собой функцию, обратную степенной. Если мы возьмем степенную функцию и поменяем местами оси абсцисс и ординат, то получится логарифмическая функция.

Единица количества информации

Как определить, какое количество информации принять за единицу? Ответ на этот вопрос связан с выбором основания логарифма в формуле Хартли. Мы можем взять разные значения основания и получить разные единицы количества информации.

Стандартной единицей измерения информации является 1 бит.

Слово бит (bit) принято расшифровывать как binary digit (двоичная цифра) или binary unit (двоичная единица). Количество информации в 1 бит несет один символ алфавита из двух символов. Такое же количество информации содержится в ответе «да» или «нет» на заданный вопрос. Чтобы измерять информацию в битах в основание логарифма в формуле Хартли следует поставить двойку. Тогда получится или . (Если N = 2, то I = 1.)

Вероятностный подход к расчету количества информации

Предложенная Хартли мера количества информации – логарифм от количества возможных вариантов – подходит тогда, когда все варианты имеют одинаковую вероятность появления. Но во многих случаях это не так. Например, в русском языке вероятность появления в тексте гласных букв гораздо больше, чем согласных.

Американский математик и инженер Клод Шеннон столкнулся с проблемой определения количества информации, когда занимался разработкой систем связи.

Шеннон предложил подход, согласно которому, количество информации в сообщении прямо пропорционально количеству неопределенности, которая утрачивается при получении этого сообщения. Например, в некотором алфавите, один символ появляется очень часто, другой встречается крайне редко. Появление первого символа несет мало информации, т.к. мы и так почти уверены, что получим его. Появление второго, редкого, символа несет гораздо больше информации.

Для точного подсчета количества информации по этому подходу используется формула Шеннона:

Эта формула позволяет определить количество информации, которое несет один символ алфавита, если известно количество символов в нем N и вероятность появления в сообщении каждого из символов . Величина, рассчитанная по этой формуле, равна среднему количеству информации на один символ сообщения. Для ее расчета используются вероятности появления всех символов алфавита.

С помощью формулы Шеннона легко можно получить «крайние» случаи распределения вероятности появления символов.

Случай 1: единственный символ алфавита имеет вероятность появления 1, то есть появляется всегда. Остальные N – 1 символов имеют вероятность появления 0, то есть они не появятся никогда. В результате мы получим канал связи, по которому передается только один символ алфавита. Подставив эти значения в формулу Шеннона, видим, что количество информации равно 0. Такой алфавит не может передавать информацию.

Случай 2: Все N символов алфавита встречаются с одинаковой вероятностью (равной, конечно же, 1/N). Тогда из формулы Шеннона, вынося общий множитель за скобки, получаем формулу Хартли. В результате, с помощью формулы Шеннона, мы доказали, что формула Хартли правильно работает, когда появление всех символов равновероятно.

Все остальные случаи находятся посередине между первым и вторым. Если какие-то символы алфавита встречаются чаще других, то количество информации на один символ такого алфавита будет меньше, чем в случае, когда все символы появляются с одинаковой вероятностью.