7.Тема 7

7.1.Избыточность

Одним из следствий ограничений на выбор источником знаков является недоиспользование их как переносчиков информации. Известная априорная информация о вероятностях выбора отдельных знаков и их сочетаний приводит к уменьшению средней неопределенности выбора источником знака, а следовательно, и переносимого им количества информации. При равновероятном и некоррелированном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема. В связи с этим говорят об избыточности алфавита n источника сообщений или просто об избыточности источника.

Мерой избыточности служит величина D, показывающая, насколько хорошо используются знаки данного источника:

, (7.1)

где максимально возможная энтропия источника;

энтропия источника.

Величина называется коэффициентом сжатия.

Информационная избыточность показывает относительную недогруженность на символ алфавита. Очевидно, абсолютная недогруженность на символ сообщений источника имеет вид:

Пусть n символов сообщения содержат количество информации I. Если такое представление информации обладает избыточностью, то оно может быть представлено меньшим числом символов n₀<n. В этом случае в качестве меры избыточности можно принять относительное удлинение сигнала

(7.2)

При кодировании N сообщений достаточно иметь длину кодовой комбинации

(7.3)

где качественные признаки соответственно первичного и вторичного алфавитов. В случае, если дробное число, его необходимо округлить до ближайшего целого, т.к. длина кода не может быть выражена дробным числом (округление производится в большую сторону). Избыточность от округления

(7.4)

где

округленное до ближайшего целого числа значение

7.2.Контрольные вопросы

7.2.1. Что понимают под избыточностью источника сообщений?

7.2.2. Каковы причины избыточности в сообщении?

7.2.3. Является ли избыточность величиной, имеющей размерность?

7.2.4. Какую размерность имеет абсолютная недогруженность?

7.2.5. Являются ли относительная недогруженность и коэффициент сжатия величинами, имеющими размерность?

7.2.6. Запишите выражение для избыточности, обусловленной неравновероятным появлением символов.

7.2.7. Запишите выражение для избыточности, вызванной статистической связью между символами.

7.2.8. Запишите выражение для полной информационной избыточности.

7.2.9. Приведите конкретный пример избыточности от округления.

7.2.9. Каким образом можно уменьшить избыточность источника сообщений?

7.3.Список задач

7.3.1. Сообщения составляются из алфавита A, B, C, D, E. Вероятности появления букв алфавита в текстах равны соответственно р_A=0,15, p_B=0,35, p_C=0,18, p_D=0,23, p_E=0,09. Найти избыточность сообщений, составленных из данного алфавита.

7.3.2. Определить избыточность сообщений, построенных из алфавита со следующим распределением вероятностей появления символов в сообщениях: р_A=0,1, p_B=0,05, p_C=0,16, p_D=0,3, p_E=0,07, р_F=0,15, p_G=0,05, p_H=0,07, p_I=0,05.

7.3.3. Вероятности появления букв первичного алфавита на выходе источника сообщений равны: р_a=0,01, p_b=0,32, p_c=0,05, p_d=0,15, p_e=0,01, р_f=0,18, p_g=0,17, p_h=0,11. Определить энтропию, коэффициент сжатия, избыточность и недогруженность символов сообщений, построенных из данного алфавита.

7.3.4. Определить среднюю избыточность на 200-буквенный текст, построенный из алфавита A, B, C, D со следующим распределением вероятностей: р_A=0,1, p_B=0,23, p_C=0,41, p_D=0,26.

7.3.5. Определить общую и частную избыточности некоторого восьмибуквенного алфавита, если известно, что с учетом неравновероятности распределения символов его энтропия равна 2,7 бит/символ, а с учетом взаимозависимости букв энтропия этого алфавита уменьшается на 0,25 бит/символ.

Внимание! При решении задачи 7.3.5 учтите, что если вычислить избыточность D_p, обусловленную неравновероятным распределением символов в сообщении, избыточность D_s, вызванную статистической связью между символами, то общая избыточность вычисляется согласно (7.5):

D=D_p+D_s–D_pD_s. (7.5)

7.3.6. Передаются текстовые сообщения, первичный алфавит которых содержит m₁ качественных признаков, общее количество передаваемых сигналов – n₁. Эти сообщения кодируются некоторым вторичным алфавитом m₂, в принятых сообщениях содержится n₂ символов. Определить избыточность от округления данных текстовых сообщений. Проиллюстрируйте полученный результат конкретными цифровыми исходными данными.

Внимание! При решении задачи 7.3.6 необходимо учесть, что при любом виде кодирования количество информации в сообщении не может возрастать.