4 Количественные характеристики информационных сообщений

4.1. Комбинаторный, вероятностный, марковский и бернуллиевский источники сообщений. Определение дискретного ансамбля.

Источники сообщений:

- конечный комбинаторный – можно идентифицировать с подмножеством некоторого конечного множества;

- конечный вероятностный – можно идентифицировать с множеством случайно выработанных последовательностей элементов.

- бернуллиевские (источники без памяти) – вероятностные источники, у которых вероятность порождения очередной буквы не зависит от предыдущих букв;

- марковские (источники с конечной памятью) – вероятностные источники, у которых вероятность порождения очередной буквы зависит от предыстории. Марковский код нулевого порядка называется бернуллиевским.

Отдельные состояния источника могут выбирать чаще других, поэтому в общем случае конечный дискретный источник X описывается дискретным ансамблем:

.

4.2. Требования к мере количества информации в сообщении. Известные меры к определению количества информации (комбинаторный подход, вероятностный подход, алгоритмический подход).

Основные требования:

- количество информации должно монотонно возрастать с увеличением объема алфавита источника. Если выбор сообщения заранее предопределен, то количество информации в этом сообщении = 0;

- вводимая мера должна обладать свойством аддитивности (искомая функция должна удовлетворять соотношению: ).

Известные меры:

- комбинаторный подход: степень неопределенности опыта ;

- вероятностный подход: математическое ожидание количества информации (энтропия):

;

- алгоритмический подход: энтропия есть мнимая длина, записанная в виде последовательности нулей и единиц, программы, которая позволяет построить объект Y , имея в своем распоряжении объект X (невычислимая).

4.3. Количественные информационные оценки для дискретных источников с памятью. Понятие условной собственной информации, совместной и взаимной информации пары событий ансамбля xy.

Источник сообщений обладает памятью, если между элементами сообщений одного или нескольких источников имеется детерминированная или статистическая связь. Сообщения называются сложными. При определении количества информации в таких сообщениях необходимо учитывать условные вероятности появления элементарных сообщений.

Условная собственная информация: .

Совместная информация пары событий показывает, какая информация о сообщении y_j содержится в сообщении x_i, и наоборот:

.

Взаимная информация пары событий:

.

4.4. Количественные информационные оценки для дискретных источников с памятью. Понятие совместной энтропии, условной энтропии и средней взаимной информации ансамбля xy.

Источник сообщений обладает памятью, если между элементами сообщений одного или нескольких источников имеется детерминированная или статистическая связь. Сообщения называются сложными. При определении количества информации в таких сообщениях необходимо учитывать условные вероятности появления элементарных сообщений.

Математическое ожидание собственной информации пары сообщений представляет собой совместную энтропию, описывающую ансамбль XY:

.

Сумма в скобках – условная энтропия источника X относительно источника Y .

Математическое ожидание случайной величины - средняя взаимная информация между источника X и Y:

.