1. Предмет і задачі теорії інформації

Повідомлення. Інформація. Предмет теорії інформації. Кількісна оцінка інформації. Ентропія як міра невизначеності інформації.

1.1. Основні поняття і визначення

Відображення результатів людської діяльності або пізнання оточуючого світу може бути подано у формалізованому вигляді, наприклад, у вигляді наборів літер, цифр та інших символів. Такі формалізовані набори називають даними. Дані, одержані від джерела інформації, називають повідомленням. Інформацією стають ті повідомлення, які знімають невизначеність, що існувала до їх настання.Повідомлення передаються за допомогою сигналів. Сигналом може бути будь-яка зміна початкового стану об’єкта, що здатна викликати реакцію людини або приладу. За структурою повідомлення сигнали поділяються на неперервні і дискретні. Якщо сигнал (повідомлення) на скінченному інтервалі амплітуд приймає довільну кількість значень, то він називається неперервним. Якщо сигнал на скінченному інтервалі амплітуд приймає обмежену кількість значень, то він називається дискретним. Дискретні сигнали як засіб передачі інформації знайшли більш широке застосування, ніж неперервні. Одиничні елементи дискретних повідомлень називаються дискретними посилками. Вони відрізняються один від одного якісними ознаками. Код - це універсальний засіб відображення інформації при її зберіганні, передачі і обробці у вигляді системи однозначних відповідностей між елементами повідомлень і сигналами, за допомогою яких ці елементи можливо зафіксувати. Кодування зводиться до однозначного перетворення символів одного алфавіту в символи іншого. Події, які підлягають формальному описуванню, будь-то явища природи, стан системи, або літери мовного алфавіту позначаються символами деякого абстрактного алфавіту і називаються первинним алфавітом. Алфавіт, з допомогою якого символи первинного алфавіту перетворюються у форму, придатну для обробки і переміщення в просторі і часі, називається вторинним алфавітом. Код являє собою повний набір всіх можливих комбінацій символів вторинного алфавіту, побудованих за заданим законом.

Основною задачею теорії інформації як самостійної дисципліни є оптимальне використання інформаційних характеристик джерел повідомлень і каналів зв’язку шляхом побудови кодів, які забезпечують задану достовірність інформації, що передається, з максимально можливою швидкістю і мінімально можливою вартістю передачі повідомлень. Частковими задачами при цьому є: проблеми вимірювання кількості інформації, вивчення властивостей інформації, дослідження взаємодії систем і елементів систем методами теорії інформації, вирішення завдань прикладного характеру.

1.2. Кількісна оцінка інформації

Кількість інформації обчислюють як добуток усунутої невизначеності Н, яка знімається одним повідомленням, на кількість повідомлень к. Мірою невизначеності Н в теорії інформації є ентропія. Ентропія являє собою питому невизначеність на символ первинного алфавіту і характеризує алфавіт в цілому. Інформацію приносять ті повідомлення, які знімають невизначеність, що існувала до їх надходження. Інформація завжди є результатом різниці апріорної і апостеріорної ентропій.

Ентропія є функція ймовірності р. Чим більше ймовірність події , тим менше невизначеність того, відбудеться вона чи ні. Нульова ймовірність означає, що подія не відбудеться. В цьому випадку також не буде невизначеності відносно факту здійснення події. Значення ентропії змінюється при зміні імовірності в ітервалі від р = 0 до р = 1 і максимум цього значення для двох подій буде в точці р₁ = р₂ = 0,5, тобто, коли найбільш важко визначити результат здійснення кожної з них. Для апріорно рівноімовірних подій кількість інформації, яку ми одержуємо в результаті здійснення цих подій, зменшується зі збільшенням імовірності кожного з них. Тому інформація, яка міститься в події А, знаходиться в обернено пропорційній функціональній залежності від імовірності р(А) при умові, що зменшення імовірності здійснення події А розглядається як збільшення імовірності нездійснення цієї події.

Інформація є логарифмічною функцією імовірності. Кількість повідомлень N, яке можна одержати, комбінуючи m символів алфавіту по n елементів в повідомленні,

N = mⁿ (1.1)

Американський вчений Р. Хартлі у 1928 р. запропонував прийняти як міру кількості інформації логарифм кількості можливих послідовностей символів:

I = log N = log mⁿ = n log m (1.2)

Таке визначення міри кількості інформації відповідає вимозі адитивності, відображає експоненційний характер залежності кількості можливих комбінацій від кількості символів у вихідному алфавіті, узгоджується з основним психофізіологічпим законом Вебера-Фехтнера S = K log E, де S– сприйняття, К - константа, Е – збудження, і майже співпадає з класичною формулою Больцмана для ентропії в статистичній термодинаміці Н_т = k log, де Н_т – термодинамічна ентропія, k - константа,  - імовірність даного стану системи.

Невизначеність, або ентропія, яка припадає на символ первинного алфавіту, складеного із рівноймовірних і взаємонезалежних символів,

H = log m. (1.3)

Основа логарифму залежить від вибраної одиниці кількості інформації: в двоїчних одиницях H = log₂m біт/символ; в десятичних одиницях H = lg m діт/символ, де log₂m = 3,32 lgm,

1 біт  0,3 діт; в натуральних одиницях H = ln m, де log₂m =

= 1,443 lnm, 1 біт  0,693 нат.

Інформація є невизначеність, яка знімається при одержанні повідомлення, тому кількість інформації може бути визначена як добуток загальної кількості повідомлень к на середню ентропію Н, яка припадає на одне повідомлення:

І = к Н біт. (1.4)

У випадку рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту дорівнює

І = к log m біт

Для нерівноймовірних алфавітів А необхідно враховувати імовірний взаємозв’язок кожного символу алфавіту з усіма іншими символами a_i, які складають повну групу подій. Тому ентропія на символ алфавіту повинна розглядатися як математичне сподівання М величини log 1 / p(a_i)

_m

H(A) = M [ - log₂ p(a_i) ] = -  p_i log₂ p_i біт/символ, (1.5)

ⁱ⁼¹

а кількість інформації в повідомленні, складеному з к нерівноймовірних символів,

_m

I = - k  p_i log₂ p_i біт. (1.6)

^і=1

Ці співвідношення були одержані Шенноном для визначення середньої кількості інформації в повідомленні з довільними ймовірностями символів.При рівноймовірних символах формула Шеннона переходить у формулу Хартлі.