- •© Абакумов в.Г., 2011
- •Передмова
- •Розділ 1 елементи теорії інформації
- •1.1 Поняття інформації. Форми інформації
- •1.2. Повідомлення та відповідні їм сигнали
- •1.2.1. Поняття стаціонарності випадкового процесу
- •1.2.2. Енергетичний спектр стаціонарного випадкового процесу
- •1.3. Вимірювання інформації
- •1.3.1. Структурні міри інформації [1-4, 1-16 ]
- •1.3.2. Статистичні міри інформації
- •1.3.3. Деякі властивості ентропії
- •1.3.4. Ентропія статистично залежних повідомлень
- •1.3.5. Ентропія неперервних повідомлень
- •1.3.6. Надмірність повідомлень
- •1.3.7. Семантичні міри інформації [1-2, 1-16]
- •1.4. Дискретизація інформації
- •1.4.1. Дискретизація за часом
- •1.4.2. Теорема Котєльнікова [1-11, 1-12]
- •1.4.3. Принцип дискретизації Желєзнова
- •1.4.4. Дискретизація неперервних повідомлень з використанням критерію найбільшого відхилення
- •1.4.5. Поняття про адаптивну дискретизацію
- •1.5. Квантування за рівнем
- •1.6. Оцінювання кількості інформації за наявності завад
- •1.6.1. Джерела завад. Характеристики завад
- •1.6.2. Втрати інформації за наявності завад
- •1.7. Контрольні запитання та вправи
- •Список використаної та рекомендованої літератури
Розділ 1 елементи теорії інформації
1.1 Поняття інформації. Форми інформації
Інформація виникає в тих випадках, коли встановлюються деякі загальні властивості предметів чи явищ, з’являються нові знання. Передаванням та обробленням інформації людство займається з прадавніх часів. Малюнки стародавніх людей, намагання створення мови та писемності, розшифровування слідів, звукова та світлова сигналізація – це приклади операцій зберігання, передавання та оброблення інформації [1-1]. Але предметом вивчення інформація стала порівняно недавно, і зараз існує ряд визначень поняття “інформація”.
П
рийнято
вважати, що інформація
– це відомості, які є об’єктом зберігання,
передавання та перетворення. Доцільно
зауважити, що інформація не виникає
сама по собі, створення інформації
пов’язують з джерелом
інформації
(джерелом повідомлень), яке характеризують
деякою структурою та відповідно до
складності джерела – певною кількістю
станів.
Формою
представлення інформації є
повідомлення.
Кожен з можливих станів джерела
відтворюється відповідним повідомленням.
У матеріально-енергетичній формі
інформація завжди проявляється у вигляді
сигналів.
Взаємозв’язок понять, які використовують
стосовно терміну «інформація», ілюструє
рис. 1.1.
Норберт Вінер відмічав: “ Інформація – це інформація, а не матерія і не енергія ”. Вірне по суті ствердження Н. Вінера породило ствердження про відсутність будь-якого зв’язку між матерією та інформацією.
Проте, коли має місце взаємодія матеріальних об’єктів, у кожному з них виникають зміни, що відображають властивості інших об’єктів. Глибина змін залежить від властивостей об’єктів, що взаємодіють, від здатності одного об’єкта до відображення властивостей іншого. Спостерігаючи зміни, що виникають у одному об’єкті, можна більшою чи меншою мірою судити про властивості інших. Це означає, що один об’єкт несе деяку інформацію про інші. В усіх матеріальних системах отримання інформації про об’єкти, процеси тощо пов’язано зі взаємодією з ними, з відображенням властивостей процесів та матеріальних об’єктів згідно з характеристиками і властивостями органів взаємодії. Це дає підставу характеризувати інформацію як суть, зміст відображення [1-4].
Під інформацією розуміють суттєві, визначальні характеристики процесів та об’єктів, виділену суть явищ матеріального світу. Поняття “інформація” передбачає абстрагування від багатьох властивостей реальних подій та об’єктів [1-20], причому межі абстрагування – умовні та визначаються специфікою вирішуваних задач.
У матеріально-енергетичній формі інформація завжди проявляється у вигляді сигналів.
Первинним та неподільним елементом інформації слід вважати подвійну подію, тобто ствердження чи заперечення, наявність чи відсутність. Подвійну подію умовно представляють одиницею чи нулем, імпульсом чи паузою. Згідно [1-16 ] подія не має геометричних розмірів, її представляють точкою.
Множину подій, упорядковану в одному вимірі, називають величиною. Прийняття величиною одного зі значень множини є подія.
Я
кщо
множина має скінченну кількість значень,
то вона є дискретною. Якщо число значень
нескінченне, то величина є неперервною.
Геометричну величину представляють
лінією (рис. 1.2).
Якщо існує відповідність між величиною та іншою величиною, між величиною та простором або величиною та часом, то мова йдеться про функції X1(X2), X(N) або X(T). За цих умов геометричну функцію можна представити як поле подій. Розрізняють функції з неперервним та дискретним аргументом.
Комплекс інформації X(T, N) являє собою відповідність між величиною, з одного боку, та часом і простором – з іншого. Геометрично комплекс інформації представляють тривимірним полем подій.
Інформацію описують моделями з різною вимірністю. Подія являє собою нуль-вимірну інформацію, величина – одновимірну, функція – двовимірну. Слідуючи таким шляхом далі, можна уявити чотиривимірну, ..., n-вимірну інформацію. Багатовимірна інформація моделюється багатовимірним простором1).
