- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.5. Объем информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Лабораторная работа
Кодирование информации
Работа выполняется на персональном компьютере с использованием языков программирования высокого уровня. Постройте программу, которая бы позволила ввести сообщение произвольной длины. Программа должна выделить буквы алфавита введенного текста, подсчитать и выдать частоту появления этих букв. Определить энтропию, приходящуюся в среднем на одну букву, длину кода при равномерном кодировании и избыточность. Программа должна обладать некоторым интерфейсом для удобства работы пользователя. Имея программу необходимо запустить ее и, пользуясь подсказками меню, ввести произвольный связный текст на русском языке. Это может быть пословица, стихотворение или произвольный текст.
Используя результаты, выданные компьютером, следует:
1) проанализировать алфавит введенного сообщения:
количество символов алфавита, значение энтропии H, длину кода Q при целочисленном кодировании, избыточность R при однобуквенном кодировании;
2) построить вручную коды Шеннона-Фано и Хаффмена (используя полученные статистические данные);
3) определить среднюю длину кода kс;
4) сравнить полученное значение kс с оптимальным H, выданным компьютером;
5) сделать необходимые выводы.
Содержание отчета
Отчет о лабораторной работе должен содержать блок схему программы. Результаты анализа при статистическом кодировании, схему построения эффективных кодов, результаты анализа и сравнения различных методов кодирования, эффективность сжатия. Листинги результатов работы программы, выводы.
5. Сжатие информации
Сжатие информации возможно при наличии избыточности в сообщении. Различают следующие виды избыточности.
Естественная избыточность связана с первичным алфавитом, а искусственная с вторичным алфавитом. Мысль, выраженная более кратко без потери информации, обуславливает семантическую избыточность. Статистическая избыточность обуславливается не равновероятностным распределением качественных признаков первичного алфавита и их взаимозависимостью.
Для сжатия информации широко используются программыупаковщики (архиваторы). Наиболее популярными являются PKZIP/PKUNZIP, ARJ, ARC, LHARC, PAK, RAR, WINRAR, WINZIP и др.
Сжатие данных применяется при резервном копировании, при хранении информации, а также при передаче в телекоммуникационных сетях. Сжатые данные будут передаваться быстрее по сети.
5.1. Основные понятия
В области сжатия информации используются следующие основные понятия и характеристики, с помощью которых можно оценить тот или иной метод сжатия.
1. Компрессор или кодер – программа, которая сжимает исходную информацию (преобразует входной несжатый файл в выходной сжатый файл). Программа, выполняющая обратное преобразование (восстановление информации), называется декомпрессором или декодером. Для объединения кодера и декодера иногда используется понятие кодек.
2. Метод неадаптивного сжатия – метод сжатия, в котором не предусмотрена возможность изменения операций, параметров и настроек в зависимости от характера сжимаемой информации. Метод, в котором предусмотрена возможность изменения операций, параметров и настроек в зависимости от сжимаемой информации, называется методом адаптивного сжатия. Если для изменения операций, параметров и настроек предварительно собирается некоторая статистика сжимаемой информации, то метод сжатия называется полуадаптивным (двухпроходное сжатие: на первом проходе выполняется анализ информации, а на втором – собственно сжатие). Метод сжатия называется локально адаптивным, если в нем предусмотрена возможность изменения параметров в зависимости от локальных особенностей входного файла.
3. Метод сжатия без потерь (метод неискажающего сжатия) позволяет восстановить сжатую информацию без искажений. Метод сжатия с потерями (метод искажающего сжатия) предусматривает искажение сжимаемой информации для получения требуемых характеристик сжатия.
4. Симметричный метод сжатия – это метод, при использовании которого кодер и декодер выполняют одни и те же действия, но в противоположных направлениях. Если либо кодер либо декодер выполняет существенно большую работу, то соответствующий метод сжатия называется асимметричным.
5. Коэффициент сжатия – величина, получающаяся в результате деления размера выходного (сжатого) файла на размер входного (несжатого) файла.
6. Фактор сжатия – величина, обратная коэффициенту сжатия.
