Понятие количества информации

Поскольку информация по своему характеру может быть весьма разнообразной и иметь для получателя различную ценность, введение универсальной количественной меры информации представляет собой довольно сложную задачу.

Требования, которые должны предъявляться к этой мере:

1. Она должна основываться на объективных закономерностях, присущих сообщениям любого рода.

2. Эта мера не должна противоречить интуитивным представлениям о количестве информации в том или ином сообщении.

3. Она должна быть достаточно удобной для использования в инженерной практике, и под возможности иметь простой физический смысл.

Рассмотрим объективные закономерности, присущие сообщениям любого вида:

1. Количество информации монотонно возрастает с увеличением длительности сигнала.

2. Количество информации связано с числом элементов сигнала. При увеличении количества элементов, то есть алфавита сигнала, количество информации на элемент возрастает.

3. Количество информации зависит от статистических характеристик сигнала, которые можно рассматривать как некий случайных процесс. Таким образом, задача построения количественной меры информации сводится к отысканию некоторой функции, монотонно возрастающей с увеличением длительности и числа возможных элементов сигнала и зависящей от его статистических характеристик.

Ограничения и допущения:

1. Передаваемый сигнал не подвергается искажениям.

2. Сигнал дискретен во времени и представляет собой совокупность последовательных элементов (символов).

3. Множество различных состояний сигнала (алфавит) дискретно и конечно.

4. Все состояния (символы) равновероятны.

5. Вероятностные связи между различными символами отсутствуют, то есть символы являются статистически независимыми.

При этих допущениях и ограничениях число N различных последовательностей длиной в в n символов из алфавита, содержащего M символов равно mⁿ.

Логично предположить, что количество информации I должно быть пропорционально длине сигнала N, что может быть представлено в виде:

I = ñ * n, где ñ - постоянная единицы меры информации.

logN = logmⁿ

logN = nlogm

n = logN / logm

Это соотношение определяет количество информации, которое может нести одна из N различных последовательностей, составленных всеми возможными способами из m различных символов.

Выбор единицы количество информации может быть осуществлен с учетом того, что в практике наибольшее распространение получили бинарные системы, то есть m выбирается как наименее возможное количество символов в алфавите, то есть m=2.

Это определяет выбор основания логарифма в формуле (1.3).

То есть количество информации определяется количеством двоичных единиц, которыми эту информацию можно закодировать.

I = n*log₂m

Задача. Сколькими двоичными символами можно написать слово «мама»?

Определение количества информации из вероятностных соображений

Как следует из (1.4), вычисление количества информации I связано с определением числа возможных реализаций сообщения N. В случае равновероятных и независимых сообщений вероятность выбора любого из них составляет p = 1 / N. При этом (1.4) запишется в виду I = -log₂p.

Энтропия и ее связь с количеством информации

Понятие энтропии возникло в термодинамике и в своем развитии стало мерой неопределенности состояния совокупности молекул нагретого газа. В последующем при разработке математического аппарата теории вероятностей оказалось, что формально понятие «энтропия» можно распространить и на другие случайные явления и рассматривать ее как меру неопределенности вообще любого объекта или процесса. Энтропией объекта или процесса, имеющего конечное число состояний с вероятностью каждого из них p_i называют функционал. Функционалом называют функцию от функции, то есть это величина, зависящая от вида функции и пределов ее существования, а не от конкретных значений случайной величины. В рассматриваемом случае величина функционала определятся функцией распределения дискретных вероятностей p_i, причем предполагается, что сумма всех возможных p_i равна единице.

Неопределенность ситуации до приема сообщения можно записать следующим образом:

После приема сообщения становится абсолютно точно известно состояние, в котором находился объект (источник), и неопределенность ситуации становится равной нулю. Таким образом после приема сигнала произошло уменьшение неопределенности от H(x) до 0. Количество информации I, полученное равно первоначальной неопределенности минус конечной.