Вопросы
1.1. Что такое энтропия?
1.2. Дайте основные свойства энтропии для дискретных систем.
1.3. Укажите, когда энтропия приобретает максимальное (минимальное) значение.
1.4. Выразите энтропию объединения двух систем в случае независимых и зависимых систем.
1.5. В чем отличия количества информации по Хартли и по Шеннону?
1.6. В чем разница между понятиями объем информации и количество информации?
1.7. Как зависит количество информации от сообщения об отдельном событии от вероятности этого события?
1.8. Приведите выражение взаимной информации.
1.9. Во что превращается полная взаимная информация в случаях полной независимости и полной зависимости систем.
Упражнения
1.1. Чему равно количество информации, если получили сообщение о выходе из строя одного из восьми станков в данном цехе?
Решение.
I = log 8 =3 бит.
1.2. Алфавит состоит из букв а, b, с, d. Вероятности появления букв равны соответственно 0,25; 0,25; 0,34; 0,16. Определите количество информации, приходящееся на символ сообщения, составленного с помощью такого алфавита
Решение.
Количество информации на символ алфавита есть энтропия данного алфавита. Так как символы алфавита не равновероятны, то энтропия равна
При вычислениях удобно воспользоваться таблицей значений функции Н(р) = -р log p (Табл.1 приложения 1).
1.3. Определите объем и количество информации в сообщении "Завтра ожидается ясная погода", переданном 7-элементным телеграфным кодом.
Решение.
Число принятых символов, включая пробел, k = 29. Объем информации Q = 29·7 = 203 бит. Количество информации для равновероятного алфавита I = k·H = 29· 1оg 32 == 29·5 = 145 бит.
1.4. Определите энтропию системы, состояние которой описывается случайной величиной X с рядом распределения
1.5. Определите максимально возможную энтропию системы, состоящей из четырех элементов, каждый из которых может быть в четырех состояниях равновероятно.
1.6. Вероятность появления сигнала на выходе канала связи - p, а вероятность не появления q = 1-p. При каком значении p наибольшая неопределенность появления или не появления сигнала?
1.7. Определить энтропию, содержащуюся в изображении, при условии, что последнее разлагается на 625 строк по 840 элементов в каждой строке. Яркость каждого элемента передается восемью квантованными уровнями, а яркости разных элементов некоррелированные.
1.8. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний: х1 - оба самолета не сбиты; х2 - истребитель сбит, бомбардировщик не сбит; х3 - истребитель не сбит, бомбардировщик сбит; х4 - оба самолета сбиты. Состояние системы дастся схемой
1.9. В двух корзинах имеется по 15 яблок, причем в первой урне - 5 красных, 7 белых и 3 черных, а во второй соответственно 4,4 и 7. Из каждой корзины вынимается по одному яблоку. Определите, для какой из корзин исход опыта является более определенным, (то есть вынуть задуманное яблоко).
1.10. Из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь, равна 0,65; вероятность, что будет идти снег, равна 0,15, вероятность, что не будет осадков, равна 0,2. В какой из двух перечисленных дней погоду следует считать более неопределенной?
1.11. По заданным значениям энтропии Н(Х) и Н(Y) случайных величин X и Y и средней условной энтропии H(X/Y) случайной величины Х относительно Y определите среднюю условную энтропию H(X/Y) случайной величины Y относительно Х.
1.12. В урне два белых и три черных шара. Из урны вынимают подряд два шара. Найдите энтропию появления двух белых шаров.
1.13. Сигнал формируется в виде двоичного кода с вероятностями появления символов 1 и 0, равными соответственно 0,6 и 0,4. Появление любого из символов взаимосвязано условными вероятностями
Определите условную энтропию.
1.14. Имеются две системы X и Y, объединяемые в одну, вероятности состояний которой представлены следующей матрицей:
Определите полную условную энтропию H(Y/X).
Решение.
Вычисляем безусловные вероятности как суммы совместных вероятностей по строкам и столбцам исходной матрицы
Определяем условные вероятности по формуле p(y/x) = p(x,y)/p(x) и составляем матрицу условных вероятностей
H(Y,X) = 0,6 (0,333 log 0,333 + 0,5 log 0,5 + 0,167 log 0,167) = 0,87 бит
1.15. Взаимодействие двух систем Х и Y описывается следующей матрицей:
Определите безусловную энтропию системы Х и системы Y.
1.16. Канал связи с помехами описан матрицей
Определите I(Х, Y).
1.17. Канал связи описан следующей канальной матрицей:
Вычислите среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны р(х1) = 0,7; р(х2) = 0,2; р(х3) = 0,1. Чему равны информационные потери при передаче сообщения из 1000 символов алфавита х1, x2, x3? Чему равно количество принятой информации?
Решение.
Энтропия источника сообщений
Общая условная энтропия
Потери в канале связи DI будут равны
DI = kH(Y/X) = 1000×0,473 = 473 бит
Энтропия приемника
Учитывая, что p(y1) = p(xi)p(y1/xi),
H(Y) = - (0,726 log 0,726 + 0,187 log 0,187 +
+ 0,087 log 0,087) = 1,094 бит
Среднее количество полученной информации
I = k[H(Y) – H(Y/X)] = kH(Y) - DI = 1094 – 473 = 621 бит
1.18. Определите информационные потери в канале связи, описанном следующей канальной матрицей: