Вопросы

1.1 . Как изменяется энтропия непрерывных случайных величин при сглаживании огибающей плотности вероятности?

1.2 . При каком законе распределения энтропия непрерывных случайных величин будет максимальной? Укажите для двух случаев, когда задана дисперсия и когда дисперсия произвольная.

1.3 . В каком случае помехи являются наиболее эффективными?

1.4 . По какому закону распределения выгоднее всего передавать сообщения?

1.5 . Какая величина характеризует точность воспроизведения сигнала?

Упражнения

2.6. Найдите энтропию непрерывной системы Х, все состояния которой, на каком-то участке (a, b) распределены по равновероятному закону.

2.7. Укажите энтропию системы Х, состояния которой распределены по нормальному закону.

2.8. По линии связи передаются непрерывные амплитудно-модулированные сигналы X(t), распределенные по нормальному закону со средним значением m_x=0 и дисперсией . Определите энтропию сигнала при точности его измерения Δx=0,2 в.

2.9. Информация передается с помощью частотно-модулированных синусоидальных сигналов, рабочая частота которых F изменяется с равной вероятностью в пределах от F₁=10 Мгц до F₂=50 Мгц. Определить энтропию сигнала H(F), если точность измерения частоты составляет величину ΔF=2 кГц.

2.10. Вычислить дифференциальную энтропию нормального закона с дисперсией σ² и равномерного распределения с той же дисперсией.

2.11. Состояние самолета характеризуется тремя случайными величинами: высотой H, модулем скорости V и углом θ, определяющим направление полета. Высота самолета распределена с равномерной плотностью на участке h₁, h₂; скорость - по нормальному закону с математическим ожиданием ν₀ и средним квадратическим отклонением σ_v; угол θ - с равномерной плотностью на участке 0, π. Величины H, V, θ независимы. Найдите энтропию объединенной системы.

2.12. Определите энтропию непрерывного амплитудно - модулированного сигнала, который передается по линии связи, для случаев, когда его значения распределены: а) по нормальному закону, б) равномерно в области изменения сигнала. Среднее значение сигнала в обоих случаях равно нулю, а дисперсия σ²=4в². Точность отсчетов на приемном конце Δx=0,1в.

Глава3. Глава 3 Передача информации по каналам связи

• Источники сообщений

• Избыточность информации

• Передача информации по каналу связи. Пропускная способность канала

• Пропускная способность непрерывных каналов связи

• Согласование скорости выдачи информации с пропускной способностью канала

• Согласование оконечных устройств с каналами связи

Вопросы и упражнения

Лабораторная работа

Источники сообщений

Источник сообщений - это то, что вырабатывает сообщения. Это устная речь, письмо, газеты, книги, сообщения по радио, телевидению, результаты измерений, представленные в виде последовательности цифр и т. д. Сообщение может поступать в форме последовательности каких-либо кодовых знаков.

Нас интересует источник с математической точки зрения, так чтобы можно было отличать источники друг от друга с каких то обобщенных позиций.

С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой.

Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).

Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности.

x₁, x₂, x₃, ... , x_m

p(x₁), p(x₂), p(x₃), ... ,p(x_m), ,

Тогда энтропия источника, или количество информации, приходящееся в среднем на одно сообщение, будет составлять:

(3.1)

Это простейшая модель источника сообщений. Реальные источники характеризуются тем, что между элементарными сообщениями существуют статистические связи.

Источник (3.1) является моделью первого, самого грубого приближения. Модель второго приближения учитывает статистику взаимосвязей между соседними буквами p(x_j/x_i). Модель третьего приближения учитывает связи между тремя соседними буквами p(x_k/x_ix_j) и т.д.

Известно, что H(X₂/X₁)≤H(X), H(X₃/X₁X₂)≤H(X₂/X₁) и т. д., поэтому энтропии разных степеней приближения составляют монотонно убывающий ряд: H₀ ³ H₁ ³ H₂ ³ H₃ ³ ... H_n-1³ H_n,

где H₀ - модель источника без учета статистических характеристик H₀=log n.

По мере возрастания номера убывание замедляется, и вся цепочка стремится к некоторому пределу

Например, если возьмем 32 буквы русского алфавита, то значение энтропии будет убывать в зависимости от номера модели

H₀=log 32=5 бит H₁ =4,42бит

Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания: тся, ает, щий и т.д. Но, с другой стороны, невозможно встретить сочетание аь, иы и т.д. То модели более высоких номеров будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.

Энтропия характеризует среднее количество информации, приходящееся на один символ сообщения. Если источник выдает n символов в секунду, то скорость выдачи информации будет составлять R_и=nH.