- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •2.5Фази усунення надлишковості інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
3.6.2Змістовність інформації
Міра змістовності позначається cont (від англійського content – зміст).
Змістовність
події i виражається
через функцію міри
– змістовності його заперечення – як:
,
де i
– дана подія;
– функція міри; ~ – знак заперечення.
Оцінка
змістовності базується на математичній
логіці, у якій логічні функції істинності
і помилковості
мають формальну схожість з функціями
ймовірності події
і антиподії
в теорії ймовірності.
У обох випадках мають місце схожі умови
,
.
.
Як і ймовірність, змістовність змінюється в межах
Відповідно схожі статистична і логічна кількість інформації.
Аналогом статистичної оцінки кількості інформації (ентропії)
,
є логічна оцінка кількості інформації, що отримала позначення Inf, має схожий вираз
.
Відмінність статистичної оцінки від логічної полягає в тому, що в першому випадку враховується ймовірність реалізації тих – або інших подій, а в другому – міри істинності або хибності подій, що наближує до оцінки сенсу інформації.
3.6.3Доцільність інформації
Якщо інформація використовується в системах управління, то її корисність розумно оцінювати по тому ефекту, який вона надає на результат управління. У зв'язку з цим А. А. Харкевічем була запропонована міра доцільності інформації, яка визначається як зміна ймовірності досягнення мети при отриманні додаткової інформації.
Отримана інформація може бути порожньою, тобто не змінювати ймовірність досягнення мети, і в цьому випадку її кількість дорівнює нулю. У інших випадках отримана інформація може змінювати положення справи в гіршу сторону, тобто зменшувати ймовірність досягнення мети, і тоді вона буде дезінформацією, яка відповідає негативним значенням кількості інформації. Нарешті, в третьому, сприятливому випадку, надходить добротна інформація, яка збільшує ймовірність досягнення мети і відповідає позитивній величині кількості інформації.
В загальному вигляді міра доцільності може бути аналітично представлена у вигляді запропонованому А.А. Харкевічем:
де
і
– початкова (до здобуття інформації) і
кінцева (після здобуття інформації)
ймовірність досягнення мети.
Приклад 2.19.
На рис.2.10,а показаний вихідний стан (позиція 1), з якої можливі два шляхи: шлях 1–2 і шлях 1–3. Нехай позиція 3 є метою, а позиція 2 – деякий проміжний пункт в стороні від мети. Якщо невідомі шляхи до мети, то ймовірності досягнення мети по шляхам 1–2 і 1–3 будуть однакові, і оскільки схема реалізації містить два результати, то можна записати умову
.
Нехай досягнута позиція 2 (рис.2.10,б) і в цій позиції надходить інформація, яка дає по три рекомендації руху до позиції 3 і до хибного напрямку 4 (показано стрілками). Очевидно, що ця інформація є нейтральною, тобто вона залишила незмінною, а кількість отриманої інформації:
.
Другий (несприятливий) випадок проілюстрований на рис.2.10.в. Тут в пункті 2 отримана хибна інформація, яка зменшила ймовірність досягнення мети по причини переважання помилкових напрямів 4. Кількість інформації
.
Рисунок
2.10 – Оцінка інформації отриманої в
процесі руху до мети
На рис.2.10.г проілюстрований сприятливий випадок, коли ймовірність досягнення мети 3 збільшується. В цьому випадку також в позиції 2 надходить інформація, яка лише два результати з шести залишає помилковими (напрям 4), а чотири результати з шести є сприятливими і ведуть до мети 3. Кількість інформації
