1.3. Вимірювання інформації
Теорія інформації вивчає основні закономірності отримання, передавання, зберігання та оброблення інформації.
У наш час у теорії інформації виділяють три основні напрямки: структурний, статистичний та семантичний.
Структурний – розглядає дискретну побудову масивів інформації та їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що передбачає просте кодування масивів.
Статистичний напрямок оперує поняттям ентропії як міри невизначеності, що враховує ймовірність появи тих чи інших повідомлень.
Семантичний напрямок ураховує доцільність, цінність, корисність або суттєвість інформації.
Ці три напрямки мають свої визначені області застосування. Структурний використовують для оцінки можливостей технічних засобів різних систем перетворення інформації незалежно від конкретних умов їх застосування. Статистичні оцінки використовують, якщо розглядають питання передавання інформації, визначення пропускної здатності каналів передавання. Семантичні оцінки здебільшого використовують у разі побудови різноманітних систем передавання та оброблення інформації та їх елементів [1-14] як спосіб оцінювання ефективності та доцільності вибраних варіантів рішень.
1.3.1. Структурні міри інформації [1-4, 1-16 ]
Структурні міри інформації враховують тільки дискретну побудову інформації. Елементами інформаційного комплексу є кванти – неподільні частинки інформації дискретних моделей реальних інформаційних комплексів. У структурній теорії розрізняють геометричну, комбінаторну та адитивну міри.
Визначення кількості інформації геометричним методом являє собою вимірювання довжини лінії, площі або об’єму геометричної моделі інформаційного комплексу числом дискретних одиниць інформаційних елементів – квантів. Максимально можливу кількість квантів у заданих структурних габаритах інформаційної системи називають інформаційною ємністю системи. Інформаційна ємність – це число, що вказує кількість квантів у повному масиві інформації. Згідно рис. 1.2, кількість інформації М у комплексі X(T,N), визначена геометричним методом, дорівнює
-
,(1.47)
де
;
;
,
а ∆X,
∆T
та ∆N
– інтервали, через які відбуваються
дискретні відліки.
До комбінаторної міри доцільно вдаватись, якщо необхідно оцінити можливість передавання даних за допомогою різних комбінацій інформаційних елементів. На відміну від геометричної міри, визначення кількості інформації полягає не в простому підрахунку квантів, а у визначенні можливих або реалізованих комбінацій.
У багатьох випадках дискретне повідомлення можна розглядати як слово, яке складається з деякої кількості елементів n, заданих алфавітом, що складається з m елементів – літер. Визначимо кількість різних повідомлень, які можна утворити за допомогою даного алфавіту. Якщо повідомлення складається з двох елементів (n = 2), то всього може бути утворено m2 різних повідомлень. Наприклад, за допомогою десяти цифр (0, 1, ..., 9) може бути утворено 100 різних чисел від 0 до 99. Якщо кількість елементів повідомлення дорівнює трьом, то кількість різних повідомлень дорівнює m3 і т. д. Для кількості елементів n число можливих різних повідомлень L визначимо як
-
L = mn.
(1.48)
Чим більше L, тим більша кількість можливих різних повідомлень і тим сильніше може відрізнятися кожне повідомлення від інших. Тому величину L можна прийняти за міру кількості інформації. Однак вибір L як міри інформації пов’язаний із незручностями. Так, якщо L = 1, інформація дорівнює нулю, оскільки повідомлення, характер якого відомий заздалегідь, не дає ніяких нових відомостей. Вибір L як міри інформації незручний ще й тому, що в разі об’єднання декількох незалежних джерел повідомлень не виконується умова лінійного додавання кількостей інформації, тобто умова адитивності. Дійсно, якщо перше джерело характеризується L1 різними повідомленнями, а друге – L2, то загальне число різних повідомлень у разі об’єднання двох джерел буде добутком (а не сумою)
-
L = L1L2.
Для k різних джерел загальне число різних повідомлень дорівнює
-
L = L1L2 ... Lk.
(1.49)
Тому Хартлі запропонував логарифмічну міру кількості інформації, що дозволяє оцінити кількість інформації, яка міститься в повідомленні, логарифмом числа можливих повідомлень
-
І = logL. 1)
(1.50)
Згідно (1.50), якщо L = 1, то І = 0, тобто інформація відсутня. Використавши (1.48) та (1.50), отримаємо
-
І = logL = n·log m.
(1.51)
Зі збільшенням числа елементів повідомлення пропорційно зростає кількість інформації І. Таким чином, логарифмічна міра має адитивність у відношенні кількості елементів повідомлення. Якщо загальне число джерел інформації дорівнює k, то кількість інформації, створюваної всіма джерелами,
-
І = logL = logL1 + logL2 + ... + logLk,
(1.52)
тобто
-
І = І1 + İ2 + ... + İk.
(1.53)
Таким чином, логарифмічна міра має адитивність відносно кількості джерел повідомлення.