5.2.Контрольные вопросы

5.2.1. Какая система называется непрерывной?

5.2.2. Опишите вероятностные характеристики, представляющие непрерывную систему.

5.2.3. Чему равно значение интеграла ?

5.2.4. Каким образом можно непрерывную величину представить в виде дискретной величины?

5.2.5. Какой вид имеет приближенная формула вычисления энтропии непрерывной системы H_x(X)?

5.2.6. Какая энтропия называется относительной (дифференциальной, приведенной) H*(X)? Что называется эталонной энтропией?

5.2.7. Представьте энтропию объединения непрерывных систем.

5.2.8. Какими свойствами обладает энтропия непрерывных систем?

5.2.9. Сформулируйте принцип экстремума энтропии.

5.2.10. Как вычисляется количество информации в непрерывных системах?

5.2.11. Как вычисляется количество информации при объединении дискретной и непрерывной систем?

5.2.12. Напишите формулу для вычисления математического ожидания M[x] непрерывной случайной величины X.

5.3.Список задач

Внимание! Прежде, чем приступить к решению задач данного раздела, необходимо повторить основные положения раздела “Математический анализ” дисциплины “Высшая математика” и раздел «Распределения непрерывных случайных величин» дисциплины «Теория вероятностей».

5.3.1. Найти энтропию системы X, характеризуемой случайной величиной x, распределенной по нормальному закону:

Примечание – Задачи 5.3.1, 5.3.2 рекомендуется решать, исходя из того, что относительная энтропия представляет собой математическое ожидание частной энтропии.

5.3.2. Определить энтропию непрерывной случайной величины, подчиняющейся

(а) – закону равной вероятности в интервале (a,b);

(b) – экспоненциальному закону распределения

Примечание – при решении задач 5.3.2(b), 5.3.3, 5.3.4 рекомендуется использовать прием «Интегрирование по частям».

5.3.3. Найти энтропию случайной величины X, интегральный закон распределения которой имеет следующий вид:

Примечание – Будьте внимательны! В задаче 5.3.3 задана функция распределения, а не плотность распределения.

5.3.4. Определить относительную энтропию непрерывной случайной величины X c плотностью распределения

5.3.5. Среди всех законов распределения непрерывной случайной величины X, для которых при x<0 плотность вероятности равна нулю, найти при заданном математическом ожидании M[x] случайной величины X закон распределения с максимальной энтропией.

Рекомендация. Воспользуйтесь следующим свойством непрерывных случайных величин:

и вспомните, что математическое ожидание непрерывной случайной величины

M[x]=

5.3.6. По каналу связи с помехами передается параметрический сигнал x, который имеет распределение вероятностей f₁(x). Условная плотность вероятности приема сигнала y, если передан сигнал x, равна f(y/x). Определить количество информации, содержащееся в принятом сигнале

1. – в общем виде;

2. - если

5.3.7. Определить количество информации, содержащееся в одном замере случайной величины X, равномерно распределенной в пределах от 0 до 256, если погрешность измерения распределена по нормальному закону и среднеквадратическое отклонение погрешности =5.

5.3.8. Случайная величина X распределена по нормальному закону с параметрами математического ожидания m_x=0 и среднеквадратического отклонения _x. Величина X измеряется с ошибкой Z, также распределенной по нормальному закону с параметрами m_z и _z. Определить, какое количество информации содержит результат измерения Y=X+Z.

Примечание – Эту задачу рекомендуется решать, исходя из того, что количество информации представляет собой математическое ожидание частной информации.