5.4. Ентропія як міра кількості інформації
Ентропія, як міра кількості інформації, використовується тільки для вирішення технічних питань, наприклад, оптимального кодування інформації (закодувати більшу кількість інформації меншим числом символів).
При цьому абстрагуються від змісту цієї інформації.
Приклад.
Нехай
система
має 4 стани з ймовірностями
;
;
.
Для передачі повідомлення про стан
системи
можна
скористатися двобітовим кодом:
~
;
~
;
~
;
~
.
Щоб
передати
повідомлень
треба мати канал зв’язку потужністю
біт
за секунду (бод).
Розрахуємо ентропію системи:
Тобто
повна інформація про стан системи
:
біт.
Як
бачимо, для з’ясування стану системи
достатньо
в повідомленні передавати в середньому
всього
біт інформації,
а не
біта, як
ми припускали.
Часткова інформація від кожного повідомлення про стан системи S є різною.
Кількість інформації в кожному окремому повідомленні про те, чи знаходиться система S в і-му стані дорівнює:
в -му стані
біт,
в -му стані
біта,
в
-му
чи
-му
стані 
біта.
Висновок: чим менш ймовірний стан системи, тим більшу кількість інформації отримаємо від окремого повідомлення про те, чи знаходиться система в тому стані.
У відповідності до отриманих даних про часткову інформацію від окремих повідомлень складемо коди для їхньої передачі інакше:
~
(1
біт);
~
(2
біта);
~
(3
біта);
~
(3
біта).
Тепер кількість біт в кожному окремому повідомленні співпадає з частковою інформацією, що міститься в ньому.
*До речі, розділяти повідомлення між собою не треба, можна відрізнити одне повідомлення від іншого й без роздільників.
Алгоритм розпізнавання змісту повідомлення: якщо перший символ , то це (і кінець), інакше, якщо другий символ , це (і кінець), інакше, якщо третій символ , це (і кінець), інакше це .
Це так званий префіксний код, в якому жодне повідомлення не є початком іншого повідомлення. Префіксний код дозволяє зчитувати текст повідомлень без розподільників.
Відшукаємо математичне сподівання кількості біт інформації для передачі окремого повідомлення префіксним кодом:
біт.
де 
– кількість біт в окремому повідомленні
про стан системи
.
Відповідно
для передачі
повідомлень
префіксним кодом треба мати канал
зв’язку потужністю
біт за секунду (бод), а
не
,
як
при використанні рівномірного коду.
Рівність
повної інформації та ентропії системи
є
ознакою оптимального кодування
повідомлень про її стан.
Неможливо закодувати повідомлення так, щоб повна інформація в повідомленнях про стан системи була б меншою за ентропію цієї системи. В теорії інформації доведено, що така середня кількість інформації про стан системи, яка дорівнює ентропії системи є мінімально можливою.
Якщо б всі стани системи були б рівноймовірні, то користуватися цим кодом було б недоречно. Доведемо це.
Розрахуємо ентропію системи з чотирма рівноймовірними станами:
біта,
а повна інформація про стан цієї системи, якщо скористатися префіксним кодом:
біт.
В цьому випадку треба скористатися рівномірним кодом з однаковим числом знаків в кожному повідомленні:
біта.
Для
кодування повідомлень про стан системи
треба скористатися рівномірним кодом.
Рівність ентропії системи
та повної інформації про її стан є
ознакою оптимального кодування
повідомлень.
Висновок: щоб оптимально закодувати повідомлення про стан системи, треба щоб кількість біт в повідомленні суворо відповідала кількості біт часткової інформації в кожному окремому повідомленні.
Саме так розробляють оптимальні коди повідомлень, а також розраховують потужність каналів зв’язку та запам’ятовуючих пристроїв.