3 Порядок выполнения работы

Объем алфавита источника дискретных сообщений составляет N знаков, кодируемых кодовыми комбинациями равномерного двоичного кода. Кодовые символы (элементы кодовой комбинации) статистически независимы друг от друга. Источник выдает кодовые комбинации со скоростью модуляции В(Бод).

Вероятность появления элемента «1» – р(1) = 0,001 + 0,mn,

где m и n – предпоследняя и последняя цифры номера варианта..

Требуется:

1 Дать определение единицам измерения «бит», «бит/с», «Бод»;

2 Рассчитать основные характеристики источника дискретных сообщений:

а) энтропию источника;

б) производительность источника;

в) максимальную энтропию и производительность источника;

г) избыточность источника дискретных сообщений.

3 Составить кодовую комбинацию знака (номера своего варианта), соответствующую параметрам источника и определить количество информации содержащееся в ней.

Исходные данные к заданию приведены в таблице 1.

Источник выдает кодовые комбинации знаков в двоичном коде. Они состоят из набора элементов (символов) «0» и «1». Вероятность появления элемента «1» определяется, согласно условию задачи, следующим образом: если, например, номер варианта 28 (m = 2, n = 8), то вероятность появления элемента «1» равна: р(1) = р₁ = 0,001 + 0,28 = 0,281.

Таблица 1

Последняя цифра номера варианта	0	1	2	3	4	5	6	7	8	9
Объем алфавита источника N	65	67	70	78	81	89	96	101	115	127
Предпоследняя цифра номера варианта	0	1	2	3	4	5	6	7	8	9
Скорость модуляции В, Бод	50	75	100	200	300	600	1200	2400	3600	4800

Необходимо определить вероятность появления элемента «0». Учитывая, что элементы «0» и «1» составляют полную группу событий (может появиться только «0» или «1»), то сумма их вероятностей равна 1. Отсюда вероятность появления элемента «0» равна р(0) = р₀ = 1 – р₁ . Для приведенного выше примера она равна р₀ = 1 – 0,281 = 0,719.

Энтропию источника в данном случае можно назвать энтропией элемента (или символа). Это среднее количество информации, содержащееся в одном элементе (символе).

Количество информации, содержащееся в элементе (символе) зависит от вероятности его появления и равно:

– для элемента «0»: I₀ = – log₂ р₀ , бит;

– для элемента «1»: I₁ = – log₂ р₁ , бит.

Энтропия элемента равна:

Н_эл = р₀ ∙ I₀ + р₁ ∙ I₁ бит/эл.

Максимальное значение энтропии достигается при равной вероятности появления элементов, т. е. р₀ = р₁ = 0,5. Тогда она равна:

Н_{эл. макс.} = (– 0,5 ∙ log₂ 0,5) + (– 0,5 ∙ log₂ 0,5) = 1 бит/эл.

Производительность источника (количество информации, выдаваемое в единицу времени) определяется по формуле:

Н' = Н_эл / Т_эл = Н_эл ∙ В бит/с,

где Т_эл – длительность элемента, с;

В – скорость модуляции (количество элементов, выдаваемое в единицу времени), Бод.

Избыточность источника дискретных сообщений оценивается долей от максимально возможного значения энтропии, неиспользуемой источником. Коэффициент избыточности источника равен:

k = (Н_{эл. макс.} – Н_эл ) / Н_{эл. макс.} = 1 – Н_эл / Н_{эл. макс.}

Кодовая комбинация знака (номера варианта) должна соответствовать параметрам источника, т. е., для того, чтобы можно было закодировать равномерным двоичным кодом N знаков, необходима длина кодовой комбинации, равная:

K = 1 + ЦЧ[log₂ N] элементов,

где ЦЧ[ ] – целая часть полученного значения.

Количество информации в кодовой комбинации знака определяется суммой количества информации в элементах кодовой комбинации:

I_зн = I_к.к. = k₀ ∙ I₀ + k₁ ∙ I₁ , бит,

где k₀ – количество элементов «0» в кодовой комбинации;

k₁ – количество элементов «1» в кодовой комбинации.

Контрольные вопросы:

1 Дать определение единицам измерения «бит», «бит/с», «Бод».

2 Что означает энтропия источника?

3 Что означает производительность источника?

4 Как определяется избыточность источника?