5.2 Одиниці виміру ступеню невизначеності системи. Властивості ентропії

Мірою апріорної (до одержання повідомлення) невизначеності системи Х в теорії інформації є ентропія.-

,

де – лічильник можливих станів системи;

– загальна кількість можливих станів системи;

– ймовірність перебування системи в і-му стані;

– будь-яке ціле число більше за одиницю, від якого залежить розмірність ентропії. Тобто вибір величини відповідає вибору одиниць виміру ентропії: – десяткові, – двійкові.

На практиці зручно прийняти , тому що це добре співвідноситься з двійковою системою подання інформації в ЕОМ .

Знак «мінус» потрібний, тому що логарифм чисел менших за одиницю величина від’ємна, ≤ )Оскільки всі ≤ , тому ентропія невід’ємна величина.

За одиницю виміру ентропії прийнятий ступінь невизначеності системи, що має два рівноймовірні стани, й називається ця одиниця біт (bit: скорочення від словосполучення binary digit, що перекладається як двійкова цифра).

біт

біт визначає ентропію одного розряду двійкового числа, котрий з рівною ймовірністю може бути нулем чи одиницею.

Властивості ентропії:

1. Ентропія системи, стан якої відомий, дорівнює нулю.

,

бо границя невизначеності .

Якщо стан системи відомий, це означає, що ймовірність одного зі станів системи дорівнює одиниці, решти – нулю.

2. Ентропія системи з кінцевою множиною станів сягає максимуму, якщо всі стани системи рівноймовірні.

.

Доведемо це. Система має рівноймовірних станів, тобто ймовірність перебування системи в кожному окремому стані дорівнює .

,

Приклад 1. Розрахуємо ентропію системи , що має рівноймовірних станів:

біт байт.

Приклад 2. Розрахуємо ентропію інвентарного номера вагона. Інвентарний № вагона складається з -ми цифр; число можливих станів системи – , тому що -у цифру не можна вважати випадковою.

біт.

Приклад 3. На вантажний район за добу прибуває 2 вагона, причому ймовірність того, що кожний із цих вагонів виявиться піввагоном, дорівнює .

Знайти ентропію системи вантажний район, стан якої визначається прибулим числом піввагонів протягом доби.

Система може перебувати в одному з трьох станів:

– на вантажний район за добу не прибуло жодного піввагона, :

;

– на вантажний район за добу прибув один піввагон, :

;

– на вантажний район за добу прибуло два піввагона, :

.

Подамо вихідні дані у табличному вигляді.

Таблиця 30 – Характеристики системи вантажний район

Стан системи
Кількість піввагонів
Ймовірність

біт.

5.3 Ентропія та інформація

Коли система змінює свій стан, важливо своєчасно отримати інформацію про те, в якому саме стані тепер перебуває система. До отримання відомостей про стан системи (апріорі) маємо деякий ступінь невизначенності системи, що дорівнює ентропії системи. Після отримання інформації про стан системи, її стан визначений, тобто ентропія системи дорівнює нулю. Таким чином кількістю інформації можна вважати зменшення ентропії тієї системи, про яку отримані відомості. Отже, кількість отриманої інформації про стан системи дорівнює зменшенню ентропії цієї системи. Тобто інформація, що потрібна для з’ясування стану системи тотожна з ентропією системи.

де – кількість інформації про стан системи, яку можна оцінити за допомогою ентропії.

Кількість інформації, необхідної для з’ясування стану системи, дорівнює ентропії системи, але формула для її розрахунку має дещо інший вигляд:

.

Величину розглядають як інформацію, що отримана від окремого повідомлення про перебування системи в і-му стані.

Кількість інформації в окремому повідомленні про перебування системи в і-му стані називають частковою інформацією про і-й стан системи.

Якщо – це часткова інформація від окремого повідомлення про стан системи, тоді величину І_х можна розглядати як інформацію, що отримана від усіх повідомлень про перебування системи в різних станах з урахуванням їх ймовірностей. Останню можна розглядати як математичне очікування кількості інформації від окремого повідомлення про стан системи. Формула, за якою вона розраховується має структуру формули визначення математичного очікування:

,

де – можливий стан системи.

Саме тому цю кількість інформації називають середньою (або повною) інформацією про стан системи.

Кількість інформації, яка отримана від усіх повідомлень про перебування системи в різних станах з урахуванням їх ймовірностей називається повною інформацією про стан системи.

Коли всі стани системи рівноймовірні часткова інформація дорівнює повній.

.

Коли стани системи мають різні ймовірності, кількість інформації в різних повідомленнях про стан системи теж різна. Найбільша кількість інформації міститься в повідомленнях про найменш ймовірні (події) стани системи.

Висновок: найбільша часткова інформація міститься в повідомленні про найменш ймовірний стан системи.

Наприклад:

нехай , тоді біт,

але якщо , тоді біт.

Розрахуємо часткову інформацію про прибуття на вантажний район одного, двох піввагонів чи не прибуття жодного:

, біт,

, біт,

, біт.