1.5.1. Экстремальные свойства энтропии непрерывных сообщений

Представляет интерес решение следующей задачи. Заданы некоторые ограничения на параметры закона распределения непрерывного сообщения. Требуется с учетом этих ограничений найти такой закон распределения, при котором дифференциальная энтропия максимальна.

Решение подобных задач имеет практическое значение. Знание таких законов полезно при исследование космоса на предмет поиска в нем сигналов, имеющих искусственное происхождения, при постановке максимально эффективных помех в заданной полосе частот с помощью передатчика с ограниченной мощностью (например, при подавлении сотовой связи) и т.д.

1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)

Случайная величина a ограничена интервалом [b,c]. В этом случае определенный интеграл ее плотности распределения вероятностей (дифференциального закона распределения вероятностей) на этом интервале равен 1: . (1.1)

Найдем аналитическое выражение для закона f(a), который дает максимум дифференциальной энтропии

.

Эту задачу можно интерпретировать как предельный случай задачи на поиск условного экстремума функции бесконечного количества аргументов. Эти аргументы – точки искомого плотности распределения вероятностей f(a). А (1.1) является условием, которое нужно соблюсти при поиске экстремума.

Для решения этой задачи воспользуемся вышеописанным методом множителей Лагранжа, который для непрерывного случая переходит в вариационное исчисление.

Вспомогательная функция Ф в нашем случае будет иметь вид:

.

Дифференцируя по f(a), получаем систему уравнений:

.

Из верхнего уравнения получим .

Подставим f(a) в нижнее уравнение, учитывая, что f(a) от а не зависит:

.

Отсюда .

В итоге мы получили уже известный для дискретных сообщений результат, указывающий на то, что максимум энтропии достигается, если все значения сигнала равновероятны, т.е. такой сигнал имеет равномерный закон распределения.

1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)

Предположим теперь, что область определения значений случайной величины не ограничена, но задана ее дисперсия D и математическое ожидание M. Заметим, что дисперсия прямо пропорциональна мощности сигнала.

Из этого следуют следующие условия, накладывающие ограничения на искомый закон распределения:

;

;

.

Опять будем искать функцию f(a), при которой дифференциальная энтропия принимает максимальное значение. Еще раз используем метод множителей Лагранжа. Вспомогательная функция Ф в этом случае имеет вид:

.

Дифференцируя по f(a), получим систему уравнений:

Используя первое уравнение, найдем :

(1.2)

Подставим f(a) в 3-е условие:

(1.3)

По таблицам находим значение интеграла:

(1.4)

Подставив найденный интеграл (1.4) в (1.3), получим:

.

Значит и . (1.5)

Теперь (1.5) нужно подставить в f(a) (1.2), полученный результат подставить во второе условие и найти λ₂. Далее λ₂ подставляется в f(a) (1.2), а полученный результат – в первое условие. Таким образом, находится λ₁. Далее λ₁ подставляется в f(a) (1.2), в результате чего находится искомый закон распределения: .

Видим, что это часто встречающийся в природе нормальный закон распределения. Его вид зависит от 2 параметров – математического ожидания (среднего значения) M и дисперсии D, описывающей степень разброса случайной величины.

На рис. 1.6. изображены графики этого закон при разных значениях математического ожидания и дисперсии.

Рис. 1.6. Графики нормального закона распределения