Основні властивості беумовної ентропії.

1. Якщо відомо,що подія точно відбудеться, а це еквівалентно передачі повідомлення із однією якісною ознакою то енропія цього повідомлення рівна 0.

2. Якщо відомо,що подія точно не відбудеться, а це еквівалентновідсутності якісної ознаки енропія цього повідомлення також рівна 0.

3. Якщо дослід являє собою послідовність рівноймовірних подій, а це еквівалентно передачі повідомлень з рівно-ймовірними взаємонезалежними символами то тоді ентропія є максимальною.

4. Якщо подія з рівною імовірністю можн відбуватися або не відбуватися то тоді ентропія є також максималюною.

5. Ентропія для події із скінченою кількістю результатів завжди є додатньою величиною.

6. Ентропія бінарного відношення володіє властивістю симетрії, а саме збільшення або зменшення імовірності будь-якого із елементів бінарного повідомлення на одну і туж величину приводить до додаткової зміни ентропії.

7. Ентропія складного повідомлення, яке складається з деякої кількості часткових повідомлень рівна сумі ентропій складових повідомлень.

H(A,B)=H(A) = H(B)

Імовірна ентропія

На практиці часто зустрічається взаємозалежність символів у повідомленні. При передачі текстових повідомлень одні букви зустрічаються частіше інші рідше. Одні букви часто ідуть за іншими певними буквами.

Приклад : В англійській це буква е

В французькій – ди

Тому в таких випадках ентропію не можна визнати лише на основі безумовних імовірностей. В таких випадках при підрахунку середньої кількості інформації на символ повідомлення взаємозалежність враховують через умовні імовірності однихподій відносно інших. Отриману при цюму ентропію називають умовною ентропією. Вона використовується при визначенні взаємозалежності між символами первинного алфавіту для визначення втрат при передачі інформації через канали зв`язку (КЗ) при обчисленні ентропії обєднанні.

Розглянемо «n» абстрактних повідомлень, у яких символ -> m; B -> l; AB ->k;

Тоді імовірності появи цих символів A,B i AB звучать так: P(A)=m/n; P(B) = l/n; P(AB)=k/n.

Взємозалежні імовірності появи символу А відносно символу В буде визначатися співвідношенням P(A/B) = P(AB)/P(B) = k/l , а співвідношення В відносно А P(В/А) = P(AB)/P(А) = k/m.

Якщо відомі ці імовірності можливо визначити імовірність сумісної появи символів А і В

P(AB) = P(B)*P(А/B) = P(A)*P(B/A)

Використавши формулу Шенона можна записати формули умовної ентропії :

H(B/ai) = H(bj/ai) = - p(bj/ai) p(bj/ai);

H(A/bi) = H(ai/bj) = - p(ai/bj) p(ai/bj);

В цих формулах при сумуванні індекс «і» вибрано для характеристики довільного стану джерела повідомлень «а», а індекс «j» вибрано для характеристики довільного стану адресата приймача «b».

Попередні вирази визначають часткові умовні ентропії. Загальна умова ентропії повідомлення В відносно повідомлення А характеризує кількість інформації яка міститься у будь-якому символі алфавіту і визначається як сума імовірностей появи алфавіту помноженої на невизначеність, яка залишається після того як адресат прийняв сигнал.

Вираз H(B/A)= - (ai)p(bj/ai)p(bj/ai) є загальним для визначення кількості інформації на один символ повідомлення для випадку нерівноймовірних та взаємозвязаних символів.

P(ai)p(bj/ai) = p(ai,bj) H(B/A)= - (ai,bj) p(bj/ai)

Основні властивості умовної ентропії:

1. Якщо в ансамблі повідомлень А та В то умовна ентропія А відносно В рівна безумовній ентропії А і навпаки.

2. Якщо в ансамблі повідомлень А та В жорстко пов`язані, що поява одного із них означає обов`язкову появу іншого то умовні ентропії =0.

Ентропія об`днання

Використовується для обчислення ентропії сумісної появи статично залежних повідомлень. При передачі сто раз цифри 5 по каналу зв`зку з завадами вияснили, що цифра 5 прийняли 90 раз, 6-8 раз, 4-2рази.

Для визначення ентропії комбінацій 5-5, 5-6, 5-4 може бути описана за допомогою ентропії обєднання(ЕО). ЕО позначається H(A,B) = - (a,b) p(b,a) (біт/2символи).

Ентропія об`єднання та умовна ентропія пов`язані між собою співвідношеннями

H(A,B) = H(*) + H(B/A) = H(B) + H(A/B) (2)

H(B/A) = H(A,B) – H(A) (3)

H(A/B) = H(A,B) – H(B) (4)

2.При відсутності

3. При повній статичній залежності між символами ансамблів А і В умовні ентропії рівні 0.