2. Ентропія та її властивості.

Якщо за час формування джерелом нового повідомлення об`єкт не змінює свій стан (тобто джерелом вибирається попереднє повідомлення з множини А), можна уточнити відомості про попередній стан об`єкта, включивши до цієї множини нові можливі повідомлення та перенормувааши ймовірності з множини Р.

Взагалі з самого початку до складу множини А слід включати такі повідомлення та таку кількість їх, щоб одним повідомленням можна було б визначити стан об`єкта з потрібною точністю.Це означає, що формуючи модель джерела повідомлень (його ансамбль), треба заздалегідь передбачити всі необхідні повідомлення.

Інша справа, що кожне таке повідомлення може бути відображене певною кількістю символів,знаків тощо, переносячи певну кількість інформації. При цьому множина повідомлень А є алфавітом повідомлень, а множина символів, знаків тощо, за допомогою яких спостерігач подає кожне повідомлення у формі, зручній для одержувача,- алфавітом джерела.

Кількість інформації, яка припадає на одне повідомлення характеризує дискретне джерело повідомлень в цілому. Інше джерело з іншим ансамблем повідомлень матиме зовсім іншу питому кількість інформації. Ця загальна характеристика джерела повідомлень називається його ентропією Н (А). Вона має фізичний зміст середньостатистичної міри невизначеності відомостей спостерігача А відносно стану спостережуваного об`єкта.

Точно ентропію можна визначити як математичне сподівання питомої кількості інформації

Необхідні витрати енергії на передачу повідомлення пропорційні його ентропії (середній кількості інформації на одне повідомлення). Виходить, що кількість інформації в послідовностях визначається кількістю повідомлень N у послідовності та ентропією Н(А) джерела, тобто:

і(N )= N Н(А).

Властивості ентропії:

1)Ентропія завжди додатна або дорівнює нулю, тобто невід` ємна.

2)Ентропія є величина адитивна.

Якщо алфавіт А={ а₁,а₂,…,а_k } має k різних повідомлень, то Н(А) ≤log k. Тут рівність стосується тільки рівноймовірних і статично незалежних повідомлень а_і є А. Число k називається обсягом алфавіту повідомлень.

3. Безумовна ентропія

Термін «безумовна ентропія» запозичений з математичної статистики за аналогією з безумовною ймовірністю, що стосується статично незалежних подій, тут – повідомлень.

Безумовна ентропія це кількість інформації, яка припадає на одне повідомлення джерела із статично незалежними повідомленнями.

Якщо є дискретне джерело статично незалежних повідомлень з ансамблем А={ а₁,а₂,.., а_і,…,а_k } та р={ p₁,…,p_і,….p_k}, то кількість інформації (середня), що припадає на одне повідомлення а_і є А й визначається формулою Шеннона:

є характеристикою цього джерела в цілому.

Наведені властивості ентропії при цьому зберігаються, тобто якщо р=1 або 0,то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

Де невизначність 0 *∞, якщо її розкрити за правилом Лопіталя через граничний перехід, дає

Н₀(А)=0.

Безумовна ентропія К рівномірних повідомлень завжди максимальна й визначається виразом

Н(А)=log₂K,

Який називається формулою Хартлі.

Таким чином, основними властивостями безумовної ентропії дискретних повідомлень є такі:

Ентропія-величина дійсна, обмежена та невід`ємна;

Ентропія вірогідних повідомлень дорівнює нулю;

Ентропія максимальна, якщо повідомлення рівноймовірні та статично незалежні;

Ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

Ентропія складеного джерела, повідомлення якого складаються з часткових повідомлень кількох статично незалежних джерел, дорівнює сумі ентропії цих джерел.