3.Тема 3

3.1.Энтропия сложной системы

Система, полученная объединением двух или более систем, называется сложной системой. Под объединением двух систем с возможными состояниями понимается сложная система C=(A,B), состояния которой представляют собой все возможные комбинации состояний систем A и B. При объединении зависимых систем энтропия сложной системы вычисляется по формуле (3.1):

H(A,B)=H(A)+H(B/A), (3.1)

где H(B/A) - общая (полная или средняя) условная энтропия системы B относительно системы A, она показывает среднюю неопределенность системы B при условии, что энтропия системы A известна. Если известны значения вероятностей то условная энтропия вычисляется по формуле (3.2):

(3.2)

3.2.Контрольные вопросы

3.2.1. Каким образом вычисляется энтропия объединения независимых систем?

3.2.2. Чему равна энтропия объединения k независимых систем?

3.2.3. Чему равна энтропия объединения k зависимых систем?

3.2.4. Чему равна энтропия объединения двух детерминированных систем?

3.2.5. Представьте формулу для вычисления условной энтропии H(A/B) через вероятности соответствующих состояний систем А и В, а также через энтропии H(A,B) и H(B).

3.2.6. В каких пределах изменяются условные энтропии H(A/B) и H(B/A)?

3.2.7. Каким образом вычисляются частные условные энтропии H(A/b_j) и H(B/a_i)?

3.2.7. Сформулируйте теорему единственности функционала энтропии.

3.3.Список задач

3.3.1. В результате статистических испытаний установлено, что при передаче каждых 100 сообщений длиной по 5 символов в сообщении символ K встречается 50 раз, а символ T - 30 раз. Вместе с символом K символ T встречается 10 раз. Определить условные энтропии H(K/T) и H(T/K).

3.3.2. Определить общую условную энтропию сообщений, составленных из алфавита A,B, если вероятности появления символов в сообщении равны p_A=0,6; p_B=0,4. Условные вероятности переходов одного символа в другой равны p(B/A)=0,15; p(A/B)=0,1.

3.3.3. Сообщения передаются двоичным кодом.

• В первом случае вероятности появления «0» и «1» равны, соответственно, p₀=0,8; p₁=0,2. Помехи в канале связи отсутствуют, т.е. условные вероятности переходов «0» в «1» и «1» в «0» равны нулю.

• Во втором случае символы передаются с равными вероятностями p₀=p₁=0,5, однако в результате действия помех условные вероятности переходов равны p(1/1)=0,8; p(1/0)=0,2; p(0/0)=0,6; p(0/1)=0,4.

Чему равна энтропия сообщений в первом и во втором случаях?

3.3.4. Чему равна условная энтропия сообщений, передаваемых по каналу связи, если канальная матрица имеет вид

3.3.5. Влияние помех в канале связи описывается следующим распределением условных вероятностей

Вычислить полную условную энтропию сообщений, передаваемых по данному каналу связи:

a) при равновероятном появлении символов в сообщении;

б) при вероятностях p(a₁)=0,7; p(a₂)=0,2; p(a₃)=0,1.

3.3.6. Определить общую условную энтропию сообщений, передаваемых по каналу связи, который описывается следующей канальной матрицей

p(b₁)=0,54; p(b₂)=0,23; p(b₃)=0,15; p(b₄)=0,08.

3.3.7. Составить произвольную канальную матрицу, описывающую канал связи: а) со стороны источника сообщений; б) со стороны приемника сообщений. Показать процесс определения частных и общих условных энтропий для обоих случаев.

3.3.8. Определить энтропию приемника сообщений, если задана канальная матрица

а вероятности появления символов на выходе источника сообщений равны p(a₁)=0,5; p(a₂)=0,3; p(a₃)=0,2.

3.3.9. Задана матрица вероятностей системы, полученной объединением двух взаимозависимых систем A и B:

Определить полные условные энтропии H(B/A) и H(A/B).

3.3.10. Взаимодействие двух систем A и B описывается следующей матрицей:

Определить энтропии системы A и системы B.