- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
В комп’ютерних системах широко використовується технічний (зовнішній) підхід до оцінювання інформації.
В його основі лежить тлумачення інформації як будь-якої послідовності знаків (символів), що зберігається, опрацьовується чи передається. Отже, носієм інформації вважається будь-яка скінчена послідовність знаків (символів) – слово. Кожний новий символ (знак) збільшує кількість інформації в слові (безвідносно до змісту), яке подано над вибраним алфавітом. Для вимірювання інформації треба вибрати відповідний еталон, подібно до того, як при вимірюванні довжини вибрали метр, а при вимірюванні ваги — кілограм. Еталоном для підрахунку інформації, поданої скінченою послідовністю символів, логічно вважати слово мінімальної довжини, яке складається з одного символу (букви). Оскільки мінімальним алфавітом, над яким можна будувати різні слова, двохбуквений, то будь-яку букву алфавіту {0,1} логічно вважати еталонною одиницею вимірювання інформації. Величину. здатну набувати лише двох значень (0 та 1) називають бітом (від англійського binary digit – двійковий знак).
3. Інформаційний обсяг повідомлення
Порівнюючи скінченну послідовність символів (текст) з еталоном, можна встановити обсяг інформації.
Інформаційний обсяг повідомлення визначається за формулою
Vi=K*L (1.1)
де К – кількість символів у повідомленні, а L – кількість бітів в одному символі (інформаційна вага одного символа).
Якщо, наприклад, повідомлення складається із 367 символів, а інформаційна вага кожного символа 4 біти, то
Vi=367*4=1468 (біт).
Цей спосіб придатний лише для оцінювання синтаксичної інформації, де не враховується її зміст.
До інформативності повідомлення дана величина може не мати жодного відношення, тому використовувати при технічному способі оцінки інформації термін „кількість інформації” некоректно. Доцільно говорити про (потенційний) інформаційний обсяг повідомлення, його інформаційну довжину, а не про кількість інформації.
Технічний спосіб оцінювання інформації широко використовується для оцінювання внутрішньої та зовнішньої пам’яті комп’ютерів, інформаційної ємності комп’ютерних програм, характеристики пропускної здатності комп’ютерних мереж. При цьому використовуються похідні від біта, значно більші одиниці вимірювання інформації:
Байт (1 байт = 8 бітів)
Кілобайт (1 Кбайт = 210байт=1024 байт)
Мегабайт (1 Мбайт = 220байт = 1 048 576 байт)
Гігабайт (1 Гбайт = 230байт = 1 073 741 824 байт)
Терабайт (1 Тбайт = 240байт = 1 099 511 627 776 байт)
Петабайт (1 Пбайт = 250байт = 1 125 899 906 842 624 байт)
Екзабайт (1 Ебайт = 260байт = 1 152 921 504 606 846 978 байт)
Зетабайт (1 Збайт = 270байт = 1 180 591 620 717 411 303 424 байт)
Приклад1. Комп’ютерний алфавіт складається із 256 символів, кожний з яких подається двійковим словом у 8 біт. Отже, один символ має інформаційну вагу в 1 байт.
Приклад2. Книжка містить 620 сторінок. На кожній сторінці надруковано 64*48 символів. Який інформаційний обсяг цієї книжки?
Vi=64*48*620=1904640 байт = 1860 Кбайт = 1,816 Мбайт.
Приклад3. Скільки сторінок газети „Вільне життя” можна помістити на гнучкий магнітний диск (ГМД) обсягом 1,44 Мегабайт.
Кожна сторінка містить 68 рядків по 210 символів у рядку. Отже, інформаційний обсяг Vi однієї сторінки 210*68 = 14280 (байт)
14280 байт:1024=13,95 Кбайт
1,48 Мегабайт = 1024*1,44 байт = 1474,6 Кбайт.
1474,56: 13,95 = 10,57.
Відповідь: На даному диску можна помістити 10 сторінок тексту з газети „Вільне життя”.
Приклад 5. Файл – це найменша одиниця зберігання інформації, яка містить скінчену послідовність байтів і має унікальне ім’я. За ім’ям файлу комп’ютер визначає , де він знаходиться, яка інформація в ньому зберігається, в якому форматі вона записана і якими програмами її можна опрацювати. Обчислити інформаційний обсяг текстового файлу, що зберігає інформацію про книжку, яка містить 825 сторінок по 3528 символів на кожній сторінці. Відповідь подати в кілобайтах та мегабайтах.
1. 825*3 528 = 29 106 000 байт.
2. 29 106 000 байт : 1024 = 2 842,38 Кбайт.
3. 2 842,38 Кбайт : 1024 = 2,78 Мбайт.
Приклад 6. Мінімальним адресованим елементом жорсткого диску є кластер, розмір якого залежить від типу таблиці розташування файлів FAT і ємності жорсткого диску. Таблиця FAT16 дозволяє адресувати 216=65536 кластерів. Таблиця FAT32 логічно розбиває жорсткий диск на кластери, обсягом в 4 Кбайти.
Який інформаційний обсяг буде займати текстовий файл?
„Розуменко – студент фізико-математичного факультету ТНПУ”
а) на ЖМД формату 80 Мбайт з FAT16?
б) на ЖМД формату 80 Мбайт з FAT32?
а) Інформаційний обсяг даного тексту 1байт*54=54байт
(текст складається із 54 символів, включаючи пропуски).
Оскільки таблиця FAT16 дозволяє адресувати 65 536 кластерів, то на один кластер ЖМД обсягом у 80 Гбайт припадає
80*230/216 байт=80*24*210байт= 1280*210байт=1280Кбайт.
Отже, із1280 Кбайт одного кластера текстом буде заповнено лише 54 байти.
б) Текст буде записано у кластер обсягом у 4 Кбайти.
