4.Тема 4

4.1.Количество информации в дискретных системах

Количество информации есть мера снятой неопределённости. Численное значение количества информации I(A) о материальной системе A равно разности между априорной и апостериорной энтропиями системы:

(4.1)

Рассмотрим две системы (например, источник сигналов A и приёмник сигналов B):

(4.2)

Знания о системе B снимают энтропию A, но не полностью, так как апостериорная энтропия отлична от нуля:

(4.3)

В зависимости от вида исходных данных (значений вероятностей событий) формула (4.3) может иметь различные выражения, которые достаточно легко преобразуются друг в друга. В частности, если известны значения вероятностей то формула (4.3) имеет следующий вид:

(4.4)

Очевидно, в силу симметрии I(A,B)=I(B,A), то есть речь идёт о полной взаимной информации, содержащейся в системах A и B. Среднее количество информации есть мера соответствия двух систем.

4.2.Контрольные вопросы

4.2.1. Как вычисляется количество информации по Р.Хартли?

4.2.2. Как вычисляется количество информации по К.Шеннону?

4.2.3. Как вычисляется количество информации при учёте зависимости между символами?

4.2.4. Напишите все известные выражения вида (4.3).

4.2.5. Напишите все известные выражения вида (4.4).

4.2.6. Представьте все известные виды частной информации и соответствующие формулы.

4.2.7. Перечислите свойства количества информации.

4.2.8. Какими свойствами обладает частная информация?

4.3.Список задач

4.3.1. Канал связи описан следующей канальной матрицей:

(1) Вычислить среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны Чему равны информационные потери при передаче сообщения из 400 символов алфавита Чему равно количество принятой информации?

(2) Оцените информационные потери и количество принятой информации, если вероятности появления символов источника сообщений равны

Какие выводы можно сделать, сравнивая результаты в первом и во втором случаях?

4.3.2. Чему равны информационные потери в канале связи, описанном при помощи следующей канальной матрицы:

4.3.3. Определить информационные потери в канале связи, описанном следующей матрицей:

если символы алфавита встречаются в сообщениях с равной вероятностью.

4.3.4. Определить среднее количество информации, содержащейся в принятом ансамбле сообщений относительно переданного ансамбля, если сообщения составлены из алфавита A,B,C. Вероятности появления букв алфавита на выходе источника сообщений p(A_i)=p(B_i)=0,25; p(C_i)=0,5. Условные вероятности возникновения пар вида b_j/a_i следующие:

p(A/A)=0,97; p(A/B)=0,02; p(A/C)=0,01;

p(B/A)=0,015; p(B/B)=0,97; p(B/C)=0,01;

p(C/A)=0,015; p(C/B)=0,01; p(C/C)=0,98.

Проверить правильность результата всеми известными способами.

5.Тема 5

5.1.Энтропия и информация для систем с непрерывным множеством состояний

Пусть информационный признак x , характеризующий состояние материальной системы (источника), может принимать любые значения в интервале . В этом случае система называется непрерывной. В общем случае Система может принимать бесконечное множество состояний, вероятность каждого отдельного состояния p(x=a)=0. Моделью сигнала служит непрерывная случайная величина. Вероятностная мера вводится с помощью функции распределения F(x), которая задаётся следующим образом:

F(a)=p(x<a); F(- )=0; F( )=F( ) =1.

Если

Наряду с функцией распределения F(x) рассматривается плотность распределения (плотность вероятности)