2. Избыточность дискретного источника сообщений

Из определения энтропии дискретного источника сообщений, характеризуемого ансамблем, следует, что величина энтропии зависит от распределения вероятностей ансамбля, причём энтропия максимальна только в том случае, когда все сообщения источника равновероятны. При генерировании источником последовательности сообщений существует ещё один фактор, влияющий на величину энтропии, а именно наличие или отсутствие у источника памяти. Источник дискретных сообщений называется источником с памятью, если вероятность выдачи им очередного сообщения зависит от того, какие сообщения были выданы им раньше. Сообщения источника с памятью являются зависимыми. Стационарный источник является источником без памяти.

Количество информации определяется с помощью условных вероятностей, значит, энтропия такого источника будет равна условной энтропии H(u/z). В соответствии со свойством условной энтропии, энтропия источника с памятью меньше энтропии источника независимых сообщений. Таким образом, энтропия источника максимальна в том случае, когда выполняются два условия:

1. все сообщения источника независимы.

2. все сообщения источника равновероятны.

Невыполнение любого из этих требований уменьшает энтропию источника и является причиной избыточности. Избыточность источника дискретных сообщений с энтропией H_u и объёмом алфавита N, называется величина:

, (6)

где H_max - максимально возможное значение энтропии при данном объёме алфавита, оно достигается при выполнении условий 1 и 2 , равно

H_max=logN.

Избыточность показывает, какая доля максимально возможной при заданном объёме алфавита неопределённости не используется источником. В частности избыточности английского текста - 50%, а русского - 70%.

4. Параметры и характеристики кодов

Наиболее важными параметрами и характеристиками кодов являются следующие:

- количество кодовых признаков, используемых кодовыми комбинациями, называется основанием кода m (наиболее часто используются двоичные коды, т.е. m=2).

- общее число символов, составляющих кодовую комбинацию, называется длинной кода n. Вес кодовой комбинации в двоичной системе - количество единиц в кодовой комбинации.

- мощность кода- число комбинаций, используемых для передачи сообщений.

Для избыточных кодов:

- мощность кода

N_и = m^k (7)

где k — количество разрядов кодовой комбинации, участвующих для передачи сообщения (число информационных символов). Если блок длиной n, то

r = n - k, (8)

где r — число проверочных символов.

- избыточность кода — определяет долю проверочных (избыточных) символов внутри блока.

(9)

где R — избыточность кода.

При передаче сообщений возникают искажения символов, поэтому полученное сообщение отличается от переданного.

Численно достоверность передачи можно определить так:

K_д = 1 - K_о = 1 - (10)

где L — число переданных символов сообщения;

L_o — число ошибочно принятых символов сообщения;

K_o — коэффициент ошибочности передачи сообщения.

Вероятность ошибочного приема кодовой комбинации

(11)

Соответственно вероятность правильного приема:

P_д = 1 - P_о (12)