50_000337

Доказательство.При доказательстве данного свойства решается задача определения плотности распределения p(u), обеспечивающей максимальное значение функционала:

Экстремум функции, соответствующий максимальному значению исходного функционала:

51

В свою очередь из ограничения на дисперсию следует:

(4.20) итого в результате получаем нормальный закон распределения, что и требовалось доказать:

В случае сигналов в радиосвязи дисперсия 2 случайного процесса X пропорциональна средней мощности сигнала. Таким образом, корректным является следующее утверждение:

При заданной мощности наибольшей средней неопределенностью выбора будет обладать источник, генерирующий сигналы, амплитуды которых распределены по нормальному (гауссовому) закону2.

Свойство 6. Свойства аддитивности энтропии:

Свойства аддитивности зависимых и независимых непрерывных источников совпадают с случаем дискретных источников информации и доказываются аналогично.

4.2 Эпсилон-энтропия случайной величины

Рассмотрим состояние некоторой системы в виде ансамбля реализаций случайной величины U, описываемой плотностью распределения вероятностей p(U). Пусть состояние данной системы измеряется некоторыми датчиками, сведения от которых представляют собой ансамбль реализации случайной величины Z c плотностью распределения p(Z)3. Для количественной оценки степени сходства вектора состояния и вектора измерения требуется ввод функции метрики сходства p(Z; U), имеющую областью определения все множество значений Z и U.

2К сожалению, аналогичное утверждение справедливо и для помех: наиболее пагубное воздействие на сигнал оказывают помехи, чье распределение вероятности наиболее близко к гауссовому.

3В этом случае говорят, что Z воспроизводит U.

52

Говорят, что вектор наблюдения Z верно воспроизводит вектор состояния U, если т.н. критерий верности V (ZU)4 не превышает заданной верности определения - определенного порога :

ZZ

V (ZU) = p(u)pu(z)(z u)2dudz 2; (4.22)

где pu(z) - условная плотность распределения - функция правдоподобия того, что конкретный сигнал u будет воспринят датчиками как сигнал z с заданным значением верности не хуже5, чем . При этом, так как плотность p(u) определена, то для выполнения условия 4.22 варьировать возможно только рассмотренной условной плотностью распределения pu(z).

Итак, если случайная величина Z воспроизводит случайную величину U с некоторой верностью , то количество информации, содержащееся в Z относительно U конечно и может быть записано в следующей форме:

ZZ Z

I(ZU) = p(u)pu(z) log pu(z); p(z) = p(u)pu(z)du: (4.23) p(z)

Очевидным является тот факт, что желательно обеспечить заданную верность воспроизведения при минимальном количестве получаемой информации - т.е. из множестве функций pu(z), удовлетворяющих условию 4.22 целесообразно выбрать минимизирующую значение I(ZU). Исходя из вышесказанного, дадим определение эпсилон-энтропии наблюдаемой случайной величины U:

Эпсилон-энтропией H (U) величины U называется минимальное количество информации в наблюдаемой случайной величине Z относительно U, при котором удовлетворяется заданное требование к верности воспроизведения величины U:

где h(U) и hz(U) - безусловная и условная дифференциальные энтропии величины U, соответственно.

Пример 17. Найти H (U) источника информации, ансамбль состояний которого описывается нормально распределенной случайной величиной U с дисперсией 2 при верности воспроизведения V (ZU) 2.

4Представляющий собой математическое ожидание метрики p(Z; U), взятое по всей области определения.

5Не больше.

53

Решение. Будем считать, что заданная вероятность воспроизведения обусловлена действием аддитивной статистически независимой от сигнала помехи , при этом E[ ] = 0; E[ 2] = 2. Вектор состояния системы6 u в данном случае возможно рассмотреть как сумму вектора наблюдения7 z и помехи :

Т.к. в данном случае hz(U) в выражении 4.24 полностью определяется помехой:

где h( ) - дифференциальная энтропия помехи; p( ) - плотность распределения помехи . /par Ранее (см. 4.11) нами было установлено, что при ограничении на дисперсию случайной величины максимальной дифференциальной энтропией обладает нормальное распределение. В соответствии с этим получаем:

откуда получаем результирующее выражение для эпсилон-энтропии:

В описанном выражении 4.29 2 определяет собой среднюю мощность PU сигнала, а 2 - среднюю мощность P помехи. Данный результат является очень важным для теории связи и характеризует зависимость эпсилонэнтропии от величины PU =P , представляющую собой так называемое

отношение сигнал-помеха. Таким образом:

При заданном отношении сигнал-помеха значение H (U) для нормально распределенной случайной величины является максимально возможным.

Аналогично, для произвольно распределенной случайной величины U при том же критерии верности и малых 8, справедливо следующее

6По сути-передаваемый сигнал.

7Воспроизводящего сигнала

8Когда значение дифференциальной энтропии H (U) велико.

54

55

Практика 4 – дифференциальная энтропия

4.3Энтропия непрерывного источника

4.3.1Дифференциальная энтропия

1Определить дифференциальную энтропию равномерного на интервале [ W1 + W2] распределения.

2 Определить дифференциальную энтропию h(x) нормального распределения с плотностью вероятности

Как влияет на величину h(x) увеличение в два раза а). Среднего x; б). Дисперсии 2(x).

3Определить энтропию двумерного равномерного распределения, заданного плотностью

(x; y) = (x) (y) =

1; 0 x 1;

0; 0 y 1:

4 Найти энтропию системы m случайных величин, распределенных по нормальному закону.

5Информация передается с помощью частотно-модулированных сигналов, рабочая частота F которых изменяется с равной вероятно-

стью в пределах от F1 = 10 МГц до F2 = 50 МГц. Определить энтропию частоты, если точность измерения частоты 4F = 2 кГц.

6В результате повреждения аппаратуры центра управления полетами n самолетов летят произвольными курсами. Через некоторое время

56

управление было восстановлено и все самолеты взяли общий курс со среднеквадратической ошибкой отклонения от курса = 3 . Найти изменение энтропии, считая, что в первом случае имело место равномерное распределение вероятностей углов, а во втором случаенормальное.

7Точность выдерживания курса БПЛА под действием управляющих команд изменилась с 3 до 100 при равномерном распределении ошибки курса. ДО какой величины пришлось бы изменить СКО, если бы ошибка была распределена по нормальному закону, чтобы обеспечить такое же изменение энтропии, как в первом случае?

57

Тема II

Теоретические основы каналов связи

58

Тема 2 – список литературы

1 Дмитриев В.И. Прикладная теория информации. М.: Букинист,

1989. - 332 с.

2Думачев В.Н. Теория информации и кодирования. Воронеж: Воронежский институт МВД России, 2012. - 200 с.

3Липкин И.А. Статистическая радиотехника. Теория информации и кодирования. М.: Вузовская книга, 2002. - 216 с.

4 Скляр Б. Цифровая связь. Теоретические основы и практическое применение. М.: изд. дом Вильямс, 2003. - 1104 с.

5Орлов В.А., Филиппов Л.И. Теория информации в упражнениях и задачах. М.: Высшая Школа, 1976. - 136 с.

6Кавчук С.В. Сборник примеров и задач по теории информации. Таганрог: изд. Таганрогского ГРУ, 2002. - 64 с.

59

Лекция 5

О каналах связи и источниках сообщений

5.1 Источники информации и каналы связи

Вторая тема представленного курса лекций посвящена вопросам формализованного описания источников сообщений и каналов связи; установления пути повышения эффективности систем передачи информации; определению условий достижения максимальной скорости передачи данных по каналам с помехами и без помех.

5.1.1Основные определения

Введем далее основные формулировки, необходимые для рассмотрения различных моделей источника сообщений и канала связи.

Сигнал – материальный носитель информации, используемый для

передачи сообщений в системе связи.

Сигнал может генерироваться, но его прием не обязателен, в отличие от сообщения, которое должно быть принято принимающей стороной. Сигналом может быть любой физический процесс, параметры которого изменяются в соответствии с передаваемым сообщением.

Источник дискретных сообщений – объект, формирующий дискретные последовательности из ограниченного числа элементарных сообщений.

Источник непрерывных сообщений – объект, формирующий непрерывную последовательность, некоторые параметры которой определяются исходя из статистических свойств указанного объекта.

60