4. Поняття про алгоритмічний підхід до вимірювання інформації.

Видатний російський математик Андрій Миколайович Колмогоров запропонував у 1965 році алгоритмічний підхід до вимірювання інформації.

Замість того, щоб безпосередньо відтворювати послідовність нулів та одиниць, якою записано інформацію, Колмогоров запропонував записувати і передавати дані та вказівки (інструкції), керуючись якими одержувач відтворить інформацію. Колмогоров ввів поняття „алгоритмічної складності”. Алгоритмічна складність деякої інформації (послідовності даних) визначається ним як мінімальна довжина обчислювального алгоритму. який може відтворити задану інформацію.

При запропонованому Колмогоровим способі вимірювання інформації її кількість, що припадає на один символ (0 чи 1) заданої послідовності не перевищує одного біта. Рівною одному біту вона буде за умовою, що інформацію не вдалося попередньо стиснути (компресувати).

Алгоритмічний підхід до вимірювання інформації не дістав широкого практичного застосування. Це обумовлено тим, що практично визначити кількість інформації за способом Колмогорова дуже важко. Адже, цей спосіб передбачає вибір оптимального способу кодування, пошук оптимального алгоритму і визначення того, що необхідно попередньо повідомити одержувачу інформації для декодування переданої інформації.

Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.

План

1. Кількісна міра інформації.

2. Ентропія та її властивості.

3. Безумовна ентропія.

4. Умовна ентропія.

5. Ентропія об’єднання двох джерел.

1. Кількісна міра інформації.

Розглянемо докладніше деякі властивості дискретного джерела повідомлень ті моделі його ансамблю.

Нехай дискретне джерело повідомлень складається з людини-спостерігача та такого фізичного процесу, як колір неба.

Якщо яскравого безхмарного дня в певну мить таким джерелом вибрано повідомлення «синій», то ніяких нових відомостей до наших знань про цей об`єкт воно не дасть, тобто можно сказати , що є повідомлення, але немає інформації, або її кількість дорівнює нулю.

Якщо ж за цих самих обставин джерелом вибрано якесь інше повідомлення про колір неба (наприклад «зелений»), то воно дасть нові відомості про спостережуваний об`єкт, які додадуть до наших знань щось нове. Тоді можна сказати, що є повідомлення і в ньому є якась кількість інформації.

Зараз інформацію на якісному рівні інтуїтивно можна визначити як нове знання про стан спостережуваного об`єкта, а її кількість – як кількість нового знання про нього. Звичайно, якщл нове знання збільшує загальний рівень знання про стан об`єкта , то кількість інформації має накопичуватися додаванням і повинна мати адитивний характер. З іншого боку, спостерігач у певний момент часу нічого не знає про новий стан об`єкта. Він тільки спостерігає його і, лише вибравши нове повідомлення, дозволяє дістати якесь нове знання про об`єкт. Можна сказати, що вибору повідомлення джерелом невизначеність стану об`єкта з боку спостерігача має певний рівень.

Після вибору повідомлення джерелом утворюється деяка кількість інформації про стан спостережуваного об`єкта, яка певною мірою зменшує цю невизначність.

Розгляд дискретного джерела та множини його повідомлень приводить до формування таких природних вимог для визначення кількості інформації:

1.у повідомленні про вірогідний випадок вона має дорівнювати нулю;

2. у двох незалежних повідомленнях вона має дорівнювати сумі кількостей інформації в кожному з них;

3. вона не повинна залежати від якісного змісту повідомлення (ступення його важливості, відомостей тощо).

Кількість інформації в повідомленні тим більша, чим воно менш ймовірне, тобто більш неочікуване.

Середньою потужністю Р _с сигналу є потужність, яка забезпечується апаратурою під час його находження до каналу зв’язку. Частіше замість Р _с користуються поняттям динамічного діапазону D _с , що визначається логарифмом відношення найбільшої (максимальної) миттєвої потужності сигналу (P_cax=P_c ) до найменшої (мінімальної) P _{c min} , дозволене значення якої дорівнює потужності завад

(P _{c min}=Р ₃):

D _с=log (Р _с / Р ₃).

Усі ці параметри сигналу є його обсягом:

V _c =T _c F _c D _c.

Повідомлення та відповідні сигнали можуть бути неперервними (аналоговими) та дискретними (знаковими).Перші описуються неперервною функцією часу.До них належать такі повідомлення, як музика, телевізійне зображення, радіомовлення.

Дискретне повідомлення – скінченна послідовність окремих символів (знаків, літер) з обмеженою тривалістю. Для перетворення дискретного повідомлення на сигнал потрібна операція кодування.

Неперервні повідомлення можна передавати дискретними способами: неперервні сигнали, якими передаються ці повідомлення, перетворюються на дискретні за допомогою операцій квантування за рівнем та дискретизації в часі. На приймальному боці виконується обернене перетворення: за прийнятими дискретними сигналами відновлюються передані неперервні сигнали.

Дискретні сигнали як засіб передачі повідомлень більш поширені, ніж неперервні,завдяки тому що вони меншою мірою зазнають впливу завад і спотворень в каналах зв’язку,а в разі спотворення їх легше відновити.

Під інформаційною розумітимемо будь-яку систему, яка за допомогою технічних засобів виконує одну або кілька таких функцій,як збирання, передавання, перетворення, накопичення, зберігання та оброблення інформації.

Розподіл систем за функціональною ознакою:

• системи електрозв’язку

• системи передачі даних

• інформаційно-вимірювальні системи

• системи перетворення інформації

• інформаційно-пошукові системи

• системи зберігання інформації

• автоматизовані системи управління

• системи експериментальних досліджень.

Найпоширенішими в повсякденному житті є системи електрозв’язку та передачі даних,які можна об’єднати назвою систем передачі інформації (СПІ).

Лінія зв’язку – це фізичне середовище, в якому поширюються сигнали.

Каналом зв’язку називається сукупність технічних засобів, що забезпечує передачу повідомлень від джерела до одержувача.

Сукупність лінії зв’язку, модулятора та демодулятора (пристроїв перетворення сигналів) утворює неперервний канал передачі інформації,а якщо до цієї сукупності додати ще кодер і декодер, то дістанемо дискретний канал цієї передачі.

Модулятор і демодулятор, конструктивно об’єднані в одному блоці, називаються модемом, а конструктивне об’єднання кодера та декодера – кодеком.

Під способом передачі сигналів розуміють сукупність операцій перетворення повідомлення на сигнал, яку можна подати так:

{ y _{к .зі}(t)}=Λ _прд {x _i}= Λ _м Λ _к {x i},

де Λ _прд - оператор способу передачі сигналів; Λ _м – оператор їх модуляції; Λ _к- оператор кодування сигналів.

Сигнали при передачі по лінії зв’язку загасають, піддаючись дії завад і спотворень, що спричинює значні відхилення послідовності сигналів на вході приймача { y _{п.з і} (t)} від переданої в лінію послідовності сигналів { y _{к.з і} (t)}, тобто

{ y _{п.з і} (t)} = Λ _л { y _{к.з і} (t)}= Λ _л Λ _прд {x i}

Де Λ _л – оператор лінії зв’язку.

Якщо в лінії є адитивна завада у вигляді випадкового процесу ω(t), то на виході приймача діятиме неперервний випадковий процес

у і (t)-{y _п.з(t)} + ω(t).

Сукупність операцій перетворення сигналів на повідомлення називається способом їх приймання, який можна відобразити так:

,

де Λ _прд = Λ _дм Λ _дк – оператор способу приймання сигналів; Λ _дм – оператор їх демодуляції; Λ _дк – оператор декодування сигналів.