1.3.3. Деякі властивості ентропії

З виразу (1.59) витікає, що кількість інформації в повідомленні залежить від числа елементів повідомлення n, алфавіту m, що використовується, та ймовірностей вибору елементів p_i. Розглянемо залежність кількості інформації та ентропії від цих величин. Легко побачити, що залежність І від n є лінійною. Величини m та p_i також впливають на оцінку кількості інформації та ентропію. Це дає змогу визначити основні властивості ентропії.

1. Ентропія є функцією закону розподілу ймовірностей.

2 . Ентропія є величиною дійсною, обмеженою та невід’ємною, тобто Н > 0. Ця властивість витікає з виразу (1.60) з урахуванням того, що величини p_i є невід’ємними величинами та знаходяться у проміжку 0 ≤ p_i ≤ 1. Усі доданки, що входять у суму (1.60), є також величинами невід’ємними. Їх значення відповідають змінам p_i від нуля до одиниці. Використовуючи правила знаходження меж та максимумів функції, впевнимося, що за умови p_i = 0 та p_i = 1, доданок –p_ilogp_i дорівнює нулю й досягає максимального значення 0,531, якщо . Графік залежності величини одного доданку від p_i наведено на рис. 1.10. Оскільки всі доданки суми невід’ємні та скінченні, то за будь-якого скінченного m ентропія також буде дійсною, невід’ємною та скінченною величиною.

3. Ентропія мінімальна та дорівнює нулю, якщо повідомлення відоме заздалегідь.

4. Ентропія максимальна, якщо всі стани елементів повідомлення рівноймовірні. Дану властивість ентропії легко довести за допомогою методів варіаційного обчислення [1-1, 1-19]. Ми використаємо кінцевий результат, згідно якого Н = Н_max, якщо

.

(1.61)

Величину максимальної ентропії знайдемо, використовуючи (1.60) та (1.61)

.

(1.62)

5. Ентропія бінарних повідомлень може змінюватись від нуля до одиниці. Бінарні повідомлення характеризуються використанням двійкового алфавіту, тобто m = 2. Для таких повідомлень

.

(1.63)

Використовуючи умову для даного випадку та позначивши p₁ = p, отримаємо p₂ = 1 – p₁ = 1 – p, а ентропія Н визначиться виразом

.

(1.64)

З алежність ентропії бінарних повідомлень від ймовірності вибору одного з елементів наведено на рис. 1.11. Ентропія досягає максимуму, що дорівнює одиниці, якщо p₁ = p₂ = 0,5.

1.3.4. Ентропія статистично залежних повідомлень

Розв’язуючи різні задачі, часто маємо справу з джерелами інформації, що виробляють залежні повідомлення. Являє інтерес оцінка кількості інформації, що створюється деякою сукупністю джерел.

Розглянемо два джерела повідомлень X та Y. Ймовірності вибору елементів першого джерела відповідно дорівнюють p(x₁), p(x₂), ..., p(x_i), ..., p(x_m). Елементи повідомлення другого джерела y₁, y₂, ...,y_i, ...,y_n характеризуються ймовірностями появи p(y₁), p(y₂),..., p(y_i),..., p(y_n). Взаємний статистичний зв’язок між повідомленнями X та Y характеризується умовними ймовірностями , що визначають імовірність появи елементів y_j за умови, що став відомий елемент повідомлення x_i.

Повну схему умовних імовірностей визначає табл. 1.3

Таблиця 1.3

X	Y
	y1	y2	-	yi	-	yn
x1	p(y1/x1)	p(y2/x1)	-	p(yi/x1)	-	p(yn/x1)
x2	p(y1/x2)	p(y2/x2)	-	p(yi/x2)	-	p(yn/x2)
-	-	-	-	-	-	-
xi	p(y1/xi)	p(y2/xi)	-	p(yi/xi)	-	p(yn/xi)
-	-	-	-	-	-	-
xm	p(y1/xm)	p(y2/xm)	-	p(yi/xm)	-	p(yn/xm)

Інформативність повідомлень Y після того, як став відомий елемент x_i, характеризується частинною умовною ентропією, яку визначають виразом

.

(1.65)

Проведемо усереднення за всіма можливими елементами та знайдемо загальну умовну ентропію повідомлень Y відносно повідомлень X

.

(1.66)

Використовуючи відомі співвідношення для ймовірності сукупної появи двох залежних подій

,

(1.67)

отримаємо

.

(1.68)

Суть умовної ентропії полягає в тому, що вона є мірою кількості інформації в повідомленні Y, якщо відомі повідомлення X.

Використовуючи співвідношення теорії ймовірностей, можна показати, що умовна ентропія повідомлення Y відносно повідомлення X у разі жорсткої статистичної залежності (тобто, коли одна з умовних імовірностей у рядку таблиці умовних імовірностей дорівнює одиниці, а всі інші – нулю) дорівнює нулю, тобто в повідомленнях Y немає ніякої нової інформації.

У випадку статистичної незалежності повідомлень X та Y умовна ентропія дорівнює безумовній ентропії повідомлень H(Y).

Для визначення інформативності повідомлень об’єднання двох джерел використаємо сукупні ймовірності p(x_i,y_j), представивши схему об’єднання за допомогою табл.1.4.

Таблиця 1.4

Y	X
	x1	x2	-	xj	-	xm
y1	p(x1,y1)	p(x2,y1)	-	p(xj,y1)	-	p(xm,y1)
y2	p(x1,y2)	p(x2,y2)	-	p(xj,y2)	-	p(xm,y2)
-	-	-	-	-	-	-
yj	p(x1,yj)	p(x2,yj)	-	p(xj,yj)	-	p(xm,yj)
-	-	-	-	-	-	-
yn	p(x1,yn)	p(x2,yn)	-	p(xj,yn)	-	p(xm,yn)

Ентропію об’єднання двох джерел визначимо підсумовуванням доданків виду

,

(1.69)

у результаті чого отримаємо вираз

.

(1.70)

Підставивши (1.67) до (1.70), знайдемо

.

(1.71)

Покажемо, що перша сума являє собою ентропію повідомлення X. Дійсно,

,

і виконуючи підсумовування за j, з урахуванням, що

,

отримаємо результат

.

(1.72)

Другий доданок аналогічно (1.68) являє собою умовну ентропію . Отже, ентропія об’єднання дорівнює сумі двох ентропій: безумовної ентропії повідомлення H(X) та умовної ентропії

.

Таким чином, умовна ентропія характеризує ту додаткову інформацію, яку дають повідомлення Y за умови, що відомі повідомлення X.

Легко показати, що

.

(1.73)

Якщо повідомлення повністю незалежні, то, як витікає з розглядання властивостей умовної ентропії,

.

(1.74)

У разі жорсткої статистичної залежності

.

(1.75)

Приклад. Користуючись поняттям умовної ентропії, визначимо кількість інформації у випадку недостовірного приймання, коли внаслідок завад у каналі передавання інформації отримання повідомлення Y не знімає повністю невизначеність ситуації. У такому випадку отримаємо часткову інформацію, яка є різницею між початковою Н₁ та кінцевою Н₂ ентропією

І = H1 – H2.

(1.76)

Якщо невизначеність знято повністю, отримана інформація дорівнюватиме ентропії джерела повідомлення

.

За достовірного приймання маємо однозначну відповідність між прийнятим та переданим символами, тобто

(1.77)

У цьому випадку інформативність символів переданого повідомлення відносно символів прийнятого повідомлення буде дорівнювати нулю. За недостовірного прийому співвідношення (1.77) не виконується, тобто залишається деяка невизначеність у відношенні символів повідомлення X.

Втрати інформації в цих умовах визначають умовною ентропією згідно (1.68)

.

(1.78)

Таким чином, кількість інформації за недостовірного приймання знаходять із виразу

І = .

(1.79)

Використаємо отримані співвідношення для розв’язання числового прикладу. Нехай відбувається передавання інформації від дискретного джерела з алфавітом із m символів, імовірності яких однакові, тобто

.

Унаслідок дії завад кожен з переданих символів може перейти в будь-який з інших. Ймовірність правильного передавання символу дорівнює p, а ймовірність помилки q. Визначимо кількість інформації у прийнятих повідомленнях.

Оскільки символи під час приймання не зникають, то за даних умов . У той же час

оскільки під дією завад можливий перехід символу повідомлення X у будь-який з m – 1 символів повідомлення Y. Використовуючи співвідношення (1.67), знаходимо умовні ймовірності того, що був переданий символ x_i, якщо прийнятий символ y_j

.

(1.80)

Оскільки p(x_i) = p(y_j), то можна записати

(1.81)

Підставляючи (1.81) в (1.79), отримаємо

І = .

(1.82)

У випадку передавання бінарних повідомлень (m = 2) з урахуванням того, що для бінарних повідомлень p + q = 1, отримаємо

І = .

(1.83)

Використовуючи двійкові логарифми, отримаємо

І = ,

(1.84)

і, якщо p = 0,5, то І = 0, тобто невизначеність ситуації у відношенні символів повідомлення X у разі приймання повідомлення Y не змінюється.