- •Тема 1.1 Інформаційні основи обчислювальних машин
- •2.Інформація і повідомлення
- •3.Інформаційні процеси
- •4.Види інформації
- •5.Поняття про шум
- •2.1 Інформація та її характеристики
- •Тема 2.1 Системи числення. Перетворення двійкової інформації
- •1.Системи числення
- •2.Правила переведення між системами числення Переведення з 2-ої у 8-у та 16-у системи
- •Переведення з 8-ої та 16-ої системи у 2-у
- •Шіснадцяткова система числення
- •Переведення з 8-ої у 16-у та з 16-ої у 8-у
4.Види інформації
Перейдемо до видів інформації. Погодьтесь, що інформація буває різною. А якою саме? Для того, щоб її класифікувати треба покласти щось в основу, тобто вибрати за критерій оцінки. Дамо класифікацію за способом трактування інформації:
1) усна (звукова);
2) письмова;
3) графічна;
4) чисельна;
5) керуюча.
Можна поділити інформацію на правду і брехню, актуальну і неактуальну, суб’єктивну і об’єктивну, цікаву і нецікаву і т.д. Але ми звикли кожен день ділити її за способом сприйняття, а саме: смак, зображення, запах, звук, механічне подразнення.
5.Поняття про шум
А ще інформація може бути шкідливою. Різновидом шкідливої інформації є шум.
Шум — це неважлива, побічна для адресата інформація, що заважає сприйманню основної
інформації.
У ролі шуму може виступати і пошкоджена інформація. Також це набір сигналів чи знаків, котрі не мають смислового навантаження. Наприклад: хвилі, тріск вогню, вітер, навіть спів солов’я для „черствої” людини. Поняття шуму суб’єктивне. Інформація стає шумом одразу після того, як втрачає зміст, або отримується її надлишок. Шум може стати інформацією, якщо міститиме важливіші повідомлення, ніж основна інформація (наприклад слова сусіда по парті в порівнянні з вчительськими).
2.1 Інформація та її характеристики
Перша спроба ввести науково обґрунтовану міру інформації була зроблена в 1927 році Р. Хартлі (Англія). Він запропонував та обґрунтував кількісну міру, яка дозволяє порівнювати спроможність різних систем передавати інформацію. Ця міра підходить і для систем зберігання інформації, тому вона є відправною точкою для створення теорії інформації.
Природною вимогою, що висувається до інформаційної міри, є вимога адитивності, тобто, кількість інформації, яка може бути збережена у двох однакових комірках, повинна бути удвічі більшою за ту, що зберігається в одній з них.
Якщо одна комірка для зберігання інформації має m можливих станів, то дві таких комірки будуть мати m2 можливих станів, а n однакових комірок – mn можливих станів. Це саме стосується і кількості можливих повідомлень. Якщо символ може прийняти значення «0» або «1», то з одного символу можуть бути одержані 2 повідомлення, з двох символів – 4, з трьох – 8 тощо. Таким чином кількість можливих повідомлень визначається кількістю символів, що входять до слова n та кількістю можливих станів символу m: mn. Тому Р. Хартлі ввів логарифмічну міру інформаційної ємності:
.
Така міра задовольняє вимогу адитивності. Ємність засобу, що складається з n комірок і має mn станів, дорівнює ємності однієї комірки, помноженої на їх кількість:
.
За одиницю вимірювання інформаційної ємності вибрана двійкова одиниця – біт (binary digit – двійковий знак), що дорівнює ємності однієї комірки з двома можливими станами. Інформаційна ємність С у двійкових одиницях в загальному випадку визначається як:
,
де ka – коефіцієнт, що залежить від основи логарифму а.
При використанні для зберігання інформації десяткових комірок більш зручно користуватись десятковими логарифмами. В цьому випадку:
K10 = log 2 10 ≈ 3,32,
тобто, одна десяткова комірка за інформаційною ємністю дорівнює 3,32 двійковим. Одиниця вимірювання кількості інформації в цьому випадку – діт.
Якщо від джерела інформації каналом зв’язку передається повідомлення про подію, апріорна імовірність якої на передавальному боці дорівнювала p1, то після приймання повідомлення апостеріорна імовірність цієї події для приймача інформації дорівнює p2. Збільшення кількості інформації з урахуванням логарифмічної міри складає:
.
Для ідеального каналу зв’язку (без завад та спотворень) приймання інформації є вірогідною подією, тобто імовірність p2 дорівнює одиниці:
.
(2.1)
Чим меншою буде імовірність p1, тим більшою буде невизначеність результату, тобто тим більша кількість інформації вміщується у прийнятому повідомленні.
Значення р1 знаходиться у межах 0 < р1 < 1, тобто ΔΙ завжди додатна величина. Якщо припустити, що може передаватися nа символів Sа, що відповідають події А, nb символів Sb, що відповідають події В тощо, а всього m різних символів. Символи Sа, Sb тощо являють собою алфавіт з різних m символів. Сума усіх символів q складає:
Згідно з (2.1) приймання символу Sа дає кількість інформації:
,
де pа – імовірність події А.
Тоді у nа символах міститься кількість інформації nа(- log pа). Загальна кількість інформації складає:
.
(2.2)
Вираз для визначення середньої кількості інформації, що припадає на один символ, можна отримати, розділивши (2.2) на q:
.
(2.3)
У
(2.3) відношення
є
апріорною імовірністю появи символу
Sа для великих значень
nі та q,
–
імовірність символу Sb
тощо.
Тоді:
.
При
цьому сума імовірностей:
,
оскільки
одна з усіх m подій А, В, ...
відбувається обов’язково (повна
імовірність подій).
Таким чином, можна отримати вираз для середньої кількості інформації на один символ:
,
де pі – імовірність і-того символу.
Необхідно підняти вантаж на певний поверх 16-ти поверхового будинку (нумерація поверхів 0-15, N = 16). Скільки біт інформації повністю визначають завдання?
.
Отже, 4 біти інформації необхідні й достатні для повного зняття невизначеності вибору. У цьому можна переконатися застосуванням логіки вирахування з послідовним розподілом навпіл інтервалів станів. Наприклад, для 9-го поверху:
1) вище 7-го поверху? Так = 1;
2) вище 11-го поверху? Ні = 0;
3) вище 9-го поверху? Ні = 0;
4) вище 8-го поверху? Так = 1.
Підсумок: поверх номер 9 або 1001 у двійковому численні, чотири двійкових розряди.
Якщо в наведеному прикладі на поверхах є по 4 квартири з нумерацією на кожному поверсі 0-3 (М=4), то при адресації вантажу у квартиру буде потрібно ще 2 біти інформації. Такий же результат одержимо, якщо замість незалежної нумерації поверхів і квартир на поверхах (два джерела невизначеності) ми будемо мати тільки наскрізну нумерацію квартир (одне узагальнене джерело):
,
тобто, кількість інформації відповідає вимозі адитивності: невизначеність об'єднаного джерела дорівнює сумі невизначеностей вихідних джерел, що відповідає інтуїтивній вимозі до інформації: вона повинна бути однозначною, а її кількість повинна бути тією самою незалежно від способу задання.
Представлення інформації в ЕОМ.
Як нам вже відомо, що будь-яка інформація зберігається в вигляді кодів. На письмі ми кодуємо інформацію за допомогою кодів, які називаються буквами, символами (в деяких країнах за допомогою ієрогліфів). Музику ми кодуємо за допомогою нот. У вигляді кодів зберігаються і графічні зображення.
Щоб деяку інформацію можна було обробити за допомогою електронної апаратури її код потрібно перетворити в електричний сигнал..
Сигнал (функція) може бути неперервним (аналоговим) або дискретним (імпульсним), наприклад, на фортепіано перехід від ноти мі до ноти фа проходить стрибкоподібно, тобто дискретно, а на скрипці перехід від одного тона до іншого відбувається плавно і неперервно.
Найяскравішим прикладом дискретного пристрою є комп’ютер, тому що майже всі сигнали, що обробляються комп’ютером є дискретними.
Комп’ютер – це цифровий пристрій. Вся інформація в ЕОМ (наприклад, символи, звуки, зображення) подається у вигляді цифр.
Багато сигналів спочатку є неперервними, тому перед обробкою на комп’ютері їх слід перетворити на дискретні. Неперервний сигнал апроксимується низкою дискретних значень (у вигляді стовпчиків) (рис. 8).
Для запам’ятовування інформації (символів, цифр, графічних зображень) комп’ютер використовує двійковий код, тобто 0 і 1 через те, що комп’ютер складається з фізичних елементів, які можуть перебувати в двох стійких станах. У комп’ютерній техніці на носій інформації записуються дані в двійковому коді, тобто у вигляді нулів і одиниць.
Двійковий код позначається бітом. Слово біт походить від англійських слів Binary Digit (скорочено біт).
Біт – це найменша одиниця інформації, яка позначається двійковим кодом 0, 1. Вона також виражає логічні значення так, ні.
Але працювати окремо з кожним бітом неефективно, тому на ЕОМ організовують паралельну обробку бітів. Перший мікропроцесор міг обробляти 8 біт в паралель, крім того комірка пам’яті містить теж 8 біт, тому вводиться нова одиниця міри інформації: 1 байт = 8 біт.
Ще більшими одиницями інформації (оскільки сучасні комп’ютери оперують великими обсягами інформації) є наступні одиниці:
1 Кб (кілобайт) = 1024 байт;
1 Мб (мегабайт) = 1024 Кб;
1 Гб (гігабайт) = 1024 Мб;
1 Тб (тебайт) = 1024 Гб;
1 Пб (петабайт) = 1024 Тб.
