4.Кількість інформації як міра знятої невизначеності.

Процес одержання інформації можна інтерпретувати як зміну не­визначеності в результаті прийому сигналу. Наведемо приклад для випадку, коли передача сигналу відбувається за таких умов:

1)    корисний (відправлюваний) сигнал являє собою послідовність статистично незалежних символів з імовірностями р(х-і), і = 1,п;

2)    одержуваний сигнал являє собою послідовність символів у_к то­го самого алфавіту;

3)    якщо немає шумів (спотворень), то одержуваний сигнал збіга­ється з відправлюваним — у^ = X_i;

4)     якщо є шум, то даний символ або залишається тим самим (г-м), або замінюється будь-яким іншим символом (k-м) з імовірністю РІУк \ X_i)]

5)    спотворення наступного символу — це подія, статистично неза­лежна від тієї, яка відбулася з попередніми символами.

Отже, до одержання чергового символу ситуація характеризуєть­ся невизначеністю того, який символ буде відправлено, тобто апрі­орною ентропією H(X). Після одержання символу у_к невизначе­ність щодо того, який символ було відправлено, змінюється: якщо немає шуму, вона взагалі зникає (оскільки точно відомо, що було передано символ Xk = Ук)> а якщо шум є, ми не можемо бути впевне­ними, що отримали відправлений символ, і виникає невизначеність, що характеризується апостеріорною ентропією

Н(Х\у_к)=н[[р(х,,,\у_к)}) >0.

Визначимо кількість інформації як міру знятої невизначенос­ті: числове значення кількості інформації про об'єкт дорівнює різни­ці його апріорної й апостеріорної ентропії, тобто

І(Х, Y) = H(X) - Н(Х I Y).

Властивості кількості інформації

1. Кількість інформації у випадковому об'єкті X щодо об'єкта Y дорівнює кількості інформації в Y відносно X:

I(X_iY)=I(Y₁X).

2-4 ■ Одиниці виміру ентропії та кількості інформації

2.    Кількість інформації невід'ємна:

I(X,Y) ^ 0.

3.   Для дискретних X правдива рівність

I(X₁X) =H(X).

4.            Перетворення ір(-) однієї випадкової величини не може збіль­шити інформацію, що міститься в ній, про іншу пов'язану з нею величину:

l(<p(X),Y)^I(X,Y).

5.   Для незалежних пар величин кількість інформації адитивна:

5.Модель "чорного ящика".

Найпростішою моделлю системи є так звана модель «чорного ящика» (рис. 9), в якій акцент робиться на призначенні та поведінці системи, а про її будову є тільки опосередкована інформація, що відображається у зв’язках із зовнішнім середовищем. Зв’язки з середовищем, що йдуть у систему (входи), дають можливість впливати на неї, використовувати її як засіб, а зв’язки, що йдуть із системи (виходи), є результатами її функціонування, які або впливають на зміни у середовищі, або споживаються зовні системи.

Як чорний ящик розглядаються об’єкти дослідження, внутрішня структура яких невідома або не береться до уваги. Іноді достатньо змістовного опису входів та виходів системи.

Рис. 9. Модель чорного ящика

Метод описування систем за допомогою чорного ящика полягає у знаходженні взаємозв’язків між входами та виходами системи. Спостерігаючи достатньо довго за входами та виходами такої системи, тобто маючи вектори спостережень та можна досягти такого рівня знань про її властивості, який уможливить передбачення змін у вихідних компонентах при будь-якій зміні вхідних, тобто можна знайти відображення

Для досягнення цієї мети будують спеціальні математичні моделі, що базуються на початковій моделі чорного ящика. Найчастіше для цього застосовують методи регресійного аналізу, математичної статистики і планування експерименту.