19)Визначення інформації. Одиниці її вимірювання

Традиційно під інформацією (від латинського informatio — роз’яснення, виклад, обізнаність) розуміють “одне з найзагальніших понять науки, яке означає певні відомості, сукупність якихось даних, знань і т. ін.” Проте очевидно, що таке визначення не можна сприймати як наукове, оскільки воно містить явну логічну помилку (визначення невідомого через невідоме), визначення інформації через відомості, дані, знання, що також вимагають визначень (пов’язані з цим помилки див. у будь-яких тлумачних словниках).

Даючи визначення інформації, найперше потрібно враховувати, що воно повинно охоплювати всі можливі типи кібернетичних систем. Тому запропонуємо визначення цього терміна, а далі перевіримо його на низці прикладів із різними кібернетичними системами — від найпримітивніших (механічних) до найскладніших (людини).

Отже, враховуючи пов’язаність інформації з поняттям знятої невизначеності (ентропії), дамо їй таку дефініцію: інформація — це знята невизначеність, яку кібернетична система у своїй пам’яті декодує та зберігає. Тут невизначеність — це стан, коли кібернетична система повинна отримати інформацію (сигнал), але час його надходження або його зміст в цей момент часу є невідомими.

Перевіримо це на прикладі з механічною системою (наприклад, паровий двигун). такі системи мають лише короткочасову пам’ять, в якій сигнал запам’ятовується лише на час передачі інформації.

Складніші типи систем (наприклад, клітини, електронні мікросхеми — чіпи) можуть отримувати не тільки один конкретний сигнал, а й цілі їх ланцюжки (значно більшу, ніж біт кількість інформації — десятки чи сотні біт інформації).  Отже, можна сказати, що для такого типу систем інформація — це відображена різноманітність, яку кібернетична система в своїй пам’яті декодує та зберігає.

Ще складніші типи систем (наприклад, сучасні комп’ютери, біологічні системи — тварини, люди) можуть сприймати й опрацьовувати не тільки групи сигналів, а й цілі їх комплекси. Для таких систем сигналами (відображеною різноманітністю) стають образи, що містять уже тисячі, десятки чи сотні тисяч біт інформації.  Отже, для складних типів систем інформація — це відображені образи, які кібернетична система в своїй пам’яті розпізнала та зберігає.

У наш час теорія інформації в основному займається тим значенням, яке базується на понятті „знята невизначеність”. На друге значення цього терміну („відомості, знання”) спрямовано багато сучасних досліджень, проте вагомих результатів у цьому напрямі поки що немає. Запропонований вище підхід може бути одним з можливих підходів до розв’язання цієї проблеми.

Одиниці вимірювання кількості інформації.

У літературі вказують, що одиницею вимірювання інформації є біт. При цьому йому дають таке визначення: біт — це кількість інформації, яку отримує кібернетична система на запитання, що передбачає лише два можливі варіанти відповіді [так (1) або ні (0)]. Типовим прикладом може служити запитання: “Ви вмієте їздити автомобілем”. Варіантів відповіді може бути лише два: так (1) або ні (0).

У наш час в електроніці біти об’єднують у байти — елементи з восьми бітів, що зроблено суто з практичних міркувань, хоча кількість бітів у байтах може бути й зовсім іншою. Інші одиниці: кілобайти, мегабайти, гігабайти, терабайти.

20)-21) Поняття елементів вибору та їх імовірностей. Вимірювання кількості інформ…

Класична теорія інформації Р. Хартлі та К. Шеннона базується на теорії ймовірностей (далі — імовірнісна ТІ). Кількість інформації для рівноймовірних завершень випробувань в цій теорії вимірюється як логарифм від кількості можливих варіантів (N) завершення випробування:

I = log2 N = log2 mn = n log2 m, (1)

де N — кількість можливих варіантів завершень випробування, тобто кількість можливих повідомлень; n — кількість розрядів у повідомленні (наприклад, 3); m — кількість символів в алфавіті (наприклад, два: 0 та 1).

Одиницею вимірювання кількості інформації служить біт.

Ця основна формула була вдосконалена К. Шенноном для випадку, коли завершення подій не є рівноймовірним: оскільки формула Р. Хартлі I = log Nвнаслідок звичайних математичних перетворень дорівнює

I = - log (1/N), де (1/N) є ймовірністю (p) завершення випробовування, то можна записати, що I = - log p. Якщо ж завершення подій нерівноймовірне, то для варіанту завершення i кількість інформації в ньому становитиме:

Ii = - pi log2 pi. (2)

Застосування цієї формули показує, що чим менша ймовірність завершення варіанту i певного випробування, тим більше інформації він несе.

Кількість інформації у всіх випробуваннях експерименту визначають як арифметичну суму по всіх завершеннях i.

Ця математична модель досконало працює для тих випадків, коли мова йде про кодування інформації, тобто при передачі інформації каналами зв’язку чи її зберіганні на носіях інформації. Проте вона зовсім не працює, коли йдеться про визначення кількості інформації в об’єктах, позначених цими кодами. Покажемо це на прикладах.

Приклад. Визначаючи кількість інформації в літері Р, ця теорія зовсім не аналізує, що ця літера, по-перше, складається з двох компонентів: прямої лінії та півкола; по-друге, пряма та півколо з’єднані між собою; по-третє, товщина лінії, яка утворює півколо, в різних точках є різною; по-четверте, пряма лінія нахилена під певним кутом тощо.

Приклад. Вимірюючи кількість інформації у слові мама, ця теорія визначає лише кількість інформації в літерах цього слова, тобто Iмама = (-pм log pм) + (-pа log pа) + (-pа log pа) + (-pм log pм), проте зовсім не визначає, скільки інформації міститься в значенні цього слова (мама — людина, мама — жінка, мама — має двоє очей, ніг, рук і т. д., а конкретна моя мама має ще й певний вираз обличчя, колір очей, ріст, вагу тощо). Зрозуміло, що семантична інформація (що таке мама), тут повністю проігнорована, так само, як інші види інформації, що є в текстах — синтаксична, стилістична, граматична тощо .

Важливими вадами цієї теорії є те, що вона: а) стосується вимірювання кількості інформації лише в технічних пристроях — каналах зв’язку та носіях інформації (наприклад, пам’яті комп’ютерів) тощо ; б) не має методів, які давали б можливість виміряти кількість інформації стосовно тих подій, які вже відбулися, оскільки їх імовірність завжди дорівнює одиниці (в цьому випадку I = 0); в) не має методів, які давали б змогу виміряти кількість семантичної інформації не тільки в словах, реченнях, текстах, а й загалом у будь-яких знаках, що позначають образи (наприклад, географічних картах).

22)-23) Алгоретмічна концепція… Поняття алгоритму…

Кількість інформації за теорією інформації, що базується на алгоритмах перетворення (далі — алгоритмічна ТІ), вимірюється як довжина програми, що дає змогу перетворити об'єкт A в об'єкт B, тобто

I = L[G(A,B)], (3)

де L – функція отримання довжини програми (в байтах чи бітах), а G – програма перетворення.

У поданому вище прикладі алгоритмічна ТІ дасть цілком інший результат. Згідно з її методикою кількість інформації в літері Ф стосовно Р буде рівною, наприклад, кількості байтів програми, яка перетворює літеру Ф в Р. Тут, правда, можливі різні результати залежно від того, що вибрати за елемент перетворення: коли цілі літери, то кількість інформації буде найменшою; коли стандартизовані елементи літер — середньою; коли піксели — максимальною. Виміряти ж кількість інформації в будь-якій літері, взятій окремо, взагалі неможливо, хіба що порівнювати її з пробілом. Розглядати ж можливість перетворення літери на себе саму немає сенсу, оскільки тоді довжина програми перетворення рівна нулю, а, отже, й кількість інформації в ній виявиться також рівною нулю.

Спосіб вимірювання кількості інформації в значенні слова мама за цією теорією — невизначений (на нашу думку, неможливий).

Вадами цієї теорії є те, що вона: а) в методі вимірювання як параметр використовує довжину алгоритму, який залежить від кількості “будівельних елементів”, що дають змогу перетворити один об’єкт на інший (чим дрібніші “будівельні елементи”, тим довшою виявляється програма перетворення для однієї й тієї ж пари об’єктів); б) не має методу, який дає змогу виміряти кількість інформації в одному об’єкті, оскільки для вимірювання їх завжди потрібно як мінімум два; в) не враховує, що одна й та ж програма може бути призначена для перетворення не одного, а цілого класу об’єктів; при цьому така програма матиме сталу довжину, хоча для різних об’єктів кількість виконаних команд може бути різною.