1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)

Аналогичным образом можно показать, что если случайная величина может принимать только положительные значения, т.е. , то максимальная дифференциальная энтропия получается при распределению сигнала по экспоненциальному закону:

, где M – математическое ожидание.

Ни рис. 1.7. изображены графики экспоненциального закона распределения при М=1 и М=2.

Рис. 1.7. Графики экспоненциального закона распределения.

1.5.2. Информативность (ε-энтропия) случайных величин, распределенных по некоторым наиболее известным законам распределения

1.5.2.1. Нормальный закон распределения

;

. (1.6)

Учтем, что константа может быть вынесена из под знака интеграла в первом слагаемом (1.6), а сам интеграл в этом случае равен 1.

Константу можно вынести из-под знака второго интеграла (5), а сам интеграл представляет собой дисперсию D.

Учитывая все это, получаем:

.

1.5.2.2. Равномерный закон распределения.

;

.

1.5.2.3. Экспоненциальный закон распределения

;

.

_{После преобразований и взятия интегралов (там, где нужно при пом}ощи таблиц интегралов) получим: .

1.5.3. Энтропия дискретного сообщения, получаемого из непрерывного путем его квантования по уровню

Для всех трех случаев несложно получить энтропию дискретного сообщения, получаемого из непрерывного путем его квантования по уровню с шагом ∆a. Вспомним, то энтропия непрерывной величины равна:

.

При небольших шагах квантования ∆a энтропию квантованного сообщения можно находить по формуле:

.

Поэтому выражения энтропии квантованного сообщения при различных законах распределения будут иметь вид:

1) нормальный закон ;

2) равномерный закон: ;

3) экспоненциальный закон: .

2. Квантование сигналов

Непрерывные сигналы – носители информации – представляют собой непрерывные функции непрерывного аргумента – времени. Передача таких сигналов может выполняться при помощи непрерывных каналов связи, а обработка − при помощи аналоговых устройств. Непрерывные каналы связи и аналоговые устройства имеют множество недостатков, избежать которые можно, если преобразовать непрерывные сигналы в дискретно-непрерывные или, что еще лучше, в дискретные или, иными словами, в цифровые. Для их передачи и обработки используют более совершенные дискретно-непрерывные или цифровые каналы и устройства обработки соответствующего типа. Дискретизация или квантование позволяют уменьшить количество передаваемых данных, увеличить скорость передачи, использовать методы помехоустойчивого кодирования для ослабления вредного влияния помех.

Предположим следует передать на расстояние информацию о форме некоторого непрерывного сигнала. Причем, как можно точнее. Для этого выполняются следующие действия:

1. преобразование непрерывного сигнала в непрерывно-дискретную или дискретную (цифровую) форму;

2. кодирование эффективным кодом с целью устранения избыточности;

3. кодирование помехоустойчивым кодом с целью защиты от помех;

4. передача закодированного сигнала через канал связи;

5. декодирование после помехоустойчивого кодирования;

6. декодирование после эффективного кодирования;

7. обратное преобразование сигнала из непрерывно-дискретной или цифровой формы в непрерывную.

В данном разделе нас будет интересовать 1 и 7 пункты.