4.5. Описание системы связи на основе количественных оценок теории информации.

1. Производительность источника - суммарная энтропия сообщений, переданных за единицу времени (бит/с):

.

2. Если X – ансамбль сигналов на входе дискретного канала, а Y – ансамбль сигналов на его выходе, то скорость передачи информации по каналу:

.

3. Максимальное количество переданной информации, взятое по всевозможным источникам входного сигнала, характеризует сам канал и называется пропускной способностью КС в расчете на один символ (бит/символ):

.

Пропускная способность КС в расчете на единицу времени (бит/с):

.

5. Эффективное кодирование сообщений

5.1. Постановка задачи кодирования источника. Типы кодирования (понятие кодов фиксированной и переменной длины). Цель эффективного кодирования.

При кодировании, в соответствии с определенным правилом (кодом) f последовательность u_i преобразуется в конечную последовательность (кодовое слово) , формируемую из букв алфавита кодового словаря X. Если множество конечных последовательностей источника обозначить как U*, а множество конечных кодовых слов – как X*, то кодирование – это отображение

,

а код последовательности u_i или кодовое слово x_i – как .

Типы кодирования:

1) Коды фиксированной длины:

- слова источника u_i различной длины кодовые слова x_i одинаковой длины ;

- слова источника u_i одинаковой длины кодовые слова x_i одинаковой длины .

2) Коды переменной длины:

- слова источника u_i одинаковой длины кодовые слова x_i различной длины ;

- слова источника u_i переменной длины кодовые слова x_i переменной длины .

Эффективное кодирование обеспечивает увеличение средней информационной нагрузки на кодовое слово (символ кодового словаря).

5.2. Теорема кодирования источника кодами фиксированной длины и ее смысл.

,

где L – мощность исходного алфавита; m – количество элементарных сигналов (двоичных), используемых при передаче; J – количество цифр в блоке разбиения; k – количество элементарных сигналов, приходящихся на каждые J цифр сообщения.

Это соотношение говорит о том, что выбрав J достаточно большим, всегда можно добиться того, чтобы среднее число элементарных сигналов, затрачиваемых на передачу 1 символа исходного сообщения, было сколь угодно близким к максимальному объему информации, которых может нести 1 символ исходного сообщения.

5.3. Базовые стратегии компрессии данных.

1. Статистическое кодирование:

- блочное, когда статистика хранится с данными;

- поточное, когда статистика постоянно обновляется.

2. Методы трансформации потока – словарные методы.

3. Трансформация блока данных.

5.4. Коды неравномерной длины: применимость, требования. Понятие однозначности декодирования (примеры кодов с однозначным и неоднозначным декодированием). Понятие мгновенного кода и его преимущества (примеры мгновенных и «немгновенных» кодов).

Применение: при неравных вероятностях сообщений источника.

Требования к кодам переменной длины:

- свойство однозначности (единственности декодирования);

- отсутствие префикса (возможность мгновенного декодирования).

Условие существования мгновенного кода – неравенство Крафта:

или .

символ	код1	код2	код3	код4	код5	код6
A	00	00	0	1	1	1
B	00	01	1	10	00	01
C	01	10	11	100	01	11

Коды 2 и 5 называются мгновенными кодами, так как при получении очередного бита приемник сразу может определить получено ли кодовое слово целиком или следует подождать последующие биты.