- •Министерство образования и науки рф
- •080801 Прикладная информатика (по областям применения)
- •Сочи, 2010 г.
- •1. Меры информации 20
- •2. Квантование сигналов 46
- •3.8. Помехоустойчивое кодирование 96
- •Введение Курс лекций
- •Определение понятия информация
- •Некоторые определения
- •Фазы обращения информации
- •1. Меры информации
- •1.1. Структурные меры количества информации
- •1.1.1. Геометрическая мера
- •1.1.2. Комбинаторная мера
- •1.1.3. Аддитивная мера (мера Хартли)
- •1.2. Статистические меры
- •1.2.1. Энтропия и ее свойства.
- •1.2.1.1. Энтропия и средняя энтропия простого события
- •Метод множителей Лагранжа
- •1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий
- •1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения
- •1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий
- •1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона
- •1.2.3. Литература
- •1.2.4. Избыточность сообщения
- •1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона
- •1.3. Семантические меры информации
- •1.3.1. Содержательность информации
- •1.3.2. Целесообразность информации
- •1.3.3. Динамическая энтропия
- •1.4. Общие замечания об измерении информации
- •1.5. Энтропия непрерывных сообщений
- •1.5.1. Экстремальные свойства энтропии непрерывных сообщений
- •1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)
- •1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)
- •1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)
- •2. Квантование сигналов
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •2.3. Элементы обобщенной спектральной теории сигналов
- •2.4. Дискретизация по времени
- •2.4.1. Разложение в ряд Котельникова (Теорема Котельникова)
- •2.4.1.1. Свойства функции отсчетов
- •2.4.1.2. О практическом использовании теоремы Котельникова
- •2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
- •2.4.2.1. Интерполяция при помощи полиномов Лагранжа
- •2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
- •2.4.2.3. Схема дискретизации-передачи-восстановления сигнала
- •2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка
- •2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка
- •2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка
- •2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка
- •2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
- •2.5. Квантование по уровню
- •2.5.1. Оптимальное квантование по уровню
- •2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
- •2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
- •2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
- •2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
- •3. Кодирование информации
- •3.1. Общие понятия и определения. Цели кодирования
- •3.2. Элементы теории кодирования
- •3.3. Неравенство Крафта
- •3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
- •3.5. Основная теорема кодирования для канала связи без шума (теорема 3)
- •3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
- •3.7. Оптимальные неравномерные коды
- •3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
- •3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
- •3.7.3. Коды Хаффмена12
- •3.7.4. Коды Шеннона−Фэно
- •3.7.5. Параметры эффективности оптимальных кодов
- •3.7.6. Особенности эффективных кодов.
- •3.8. Помехоустойчивое кодирование
- •3.8.1. Классификация кодов
- •3.8.2. Простейшие модели цифровых каналов связи с помехами
- •3.8.3. Расчет вероятности искажения кодового слова в дсмк
- •3.8.4. Общие принципы использования избыточности
- •3.8.5. Граница Хэмминга
- •3.8.6. Избыточность помехоустойчивых кодов
- •3.8.7. Математическое введение к алгебраическим кодам
- •3.8.8. Линейные коды
- •3.8.9. Упрощённый способ построения линейного кода
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •3.8.10. Двоичные циклические коды
- •3.8.11. Некоторые свойства циклических кодов
- •3.8.12. Построение кода с заданной корректирующей способностью
- •3.8.13. Матричное описание циклических кодов
- •3.8.14. Выбор образующего полинома
- •4. Передача информации
- •4.1. Виды каналов передачи информации
- •4.2. Разделение каналов связи
- •4.2.1. Частотное разделение
- •4.2.2. Временное разделение
- •4.2.3. Кодовое разделение
- •4.2.4. Разделение по уровню
- •4.2.5. Корреляционное разделение
- •4.2.6. Комбинированные методы разделения
- •4.3. Пропускная способность каналов связи
- •4.4. Пропускная способность дискретного канала связи с шумом
- •4.4.1. Типичные последовательности и их свойства
- •4.4.2. Основная теорема Шеннона для дискретного канала с шумом
- •4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом
- •4.5. Пропускная способность непрерывного канала при наличии аддитивного шума
- •Литература
- •Приложение 1. Таблица неприводимых полиномов
- •Учебно-лабораторный практикум л абораторная работа 1: Исследование информативности источников дискретных сообщений.
- •Теоретическое введение
- •Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы.
- •Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке.
- •Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.
- •Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации
- •Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.
- •Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.
- •Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.Com) отчет на проверку преподавателю. Шаг 10. Защитите лабораторную работу у преподавателя. Варианты задания
- •Результаты работы
- •Сдача работы
- •Вопросы для самопроверки
- •Литература
- •Приложение 1: Пример оформления титульного листа
- •Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel Введение
- •Подключение возможности использования нестандартных функций.
- •Создание нестандартной функции
- •Приложение 3: Описание функции впр
- •Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени
- •Теоретическое введение.
- •Последовательность выполнения практической части работы
- •1. Знакомство с программой Wavosaur для записи и обработки звука.
- •2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой.
- •3. Запись голоса и подготовка сигнала.
- •4. Импорт текстовых данных в Excel
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
- •Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
- •Теоретическое введение.
- •Возможный вариант выполнения работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена.
- •Теоретическое введение.
- •Коды Хаффмена
- •Коды Шеннона−Фэно
- •Параметры эффективности оптимальных кодов
- •Особенности эффективных кодов.
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки.
- •Теоретическое введение.
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •12 Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики.
Выполнение работы
Лабораторная работа №4 выполняется под управлением специально написанной управляющей программы. Эта управляющая программа написана на языке Visual Basic 6. Исполняемый файл программы носит имя Эффективное кодирование.exe .
Запустите программу Эффективное кодирование.
На экран будет выведено окно Форма 1. Регистрация (рис. 1):
Рис.1. Окно Форма 1. Регистрация
В поле Введите вашу фамилию этого окна студент должен ввести свою фамилию и, возможно, инициалы или имя и отчество (по желанию). Важно, чтобы эти данные иденцифицировали исполнителя работы и были уникальны (единственны) среди студетов данной специальности и курса обучения.
Введенный набор символов однозначно определяет вариант задания. А, поскольку вряд ли лабораторную работу удастся выполнить в один прием, для того, чтобы при повторном запуске программы получить то же задание, нужно запомнить все символы, которые вы вели в поле Введите вашу фамилию. При этом имеют значение: размер вводимых букв (строчные или прописные), принадлежность к алфавиту (кириллица или латиница), другие знаки (пробелы, знаки препинания, цифры и т.д.).
По окончании ввода фамилии (и, возможно, инициалов или имени и отчества) следует нажать кнопку Вперед.
В ответ будет высвечено окно Форма2. Исследование кодируемого текста (рис. 2).
Рис. 2. Окно Форма2. Исследование кодируемого текста
Согласно теоретическому введению для построения оптимальных кодов нужно знать вероятности появления кодируемых букв в тексте. Первичный алфавит в данной лабораторной работе содержит всего 8 букв (объем первичного алфавита = 8). Пример кодируемого текста изображен в левом поле окна. Для нахождения вероятностей (точнее – оценок вероятностей) появления букв первичного алфавита нужно найти частоту повления каждой буквы алфавита и поделить их на общее количество букв в тексте. Сделать это можно как вручную, что трудоемко, так и при помощи инструмента Гистограмма табличного процессора Excel, как это делалось при выполнении 1-3 лабораторных работ. В последнем случае выделите текст в левом поле окна Форма2. Исследование кодируемого текста (рис. 3), перенесите его в Word, далее поступайте так, как в 1 лаб. раб.
Рис. 3. Выделение текста в левом поле окна Форма2. Исследование кодируемого текста
Будьте внимательны! Проверьте – все ли буквы текста из поля окна пересены в Word ? Пропуск даже одной буквы приводит к неверным ответам.
Для получения кодов русских букв в Excel лучше вместо нестандартной пользовательской функции UC_CD использовать стандартную функцию КОДСИМВ. Обратную ей функцию СИМВОЛ удобно использовать для преобразования кода русской буквы в ее изображение.
После расчета вероятностей результаты следует округлить до трех знаков после запятой. Это можно сделать при помощи функции ОКРУГЛ. Имейте в виду, что Excel способен округлять числа при выводе их на экран. При этом округленное изображение числа на экране может не совпадать с числом, хранящимся в памяти компьютера. Поэтому обязательно используйте функцию ОКРУГЛ для округления числа, хранящегося в памяти, т.к. именно в этом случае при последующих расчетах вы будете получать именно те ответы, которые в качестве правильных будет ожидать от вас управляющая программа данной лабораторной работы.
Еще одна особенность заключается во вводе вероятностей в праые поля окна Форма 2. Исследование кодируемого текста. Поскольку управляющая программа написана с использованием неруссифицированного варианта языка Basic, при вводе дробных чисел нужно использовать точку в качестве разделительного знака между целой и дробной частью числе, а не запятую, как это принято в России (рис. 4).
Рис. Ввод вероятностей
По окончании ввода вероятностей следует нажать кнопку Вперед. При обнаружении ошибки выводится сообщение с просьбой ее исправить. В случае правильного ввода высвечивается окно Форма 2. Исследование кодируемого текста. заменяется окном Форма 3. Построение и проверка кода Шеннона-Фэно (Рис. 4).
Рис. Окно Форма 3. Построение и проверка кода Шеннона-Фэно.
Используя алгоритм построения кода Шеннона-Фэно, постройте этот код и найдите параметры его качества – коэффициенты статистического сжатия и относительной эфективности. Результаты следует ввести в поля окна Форма 3. Построение и проверка кода Шеннона-Фэно и нажать кнопку Вперед. Управляющая программа проверит ваши результаты и в случает обнаружения ошибок сообщит об этом. Программа сначала проверяет образованный вами код, затем коэффициент статистичекого сжатия и в конце – коэфициент относительной эффективности. Программа сообщает только об одной ошибке – первой из обнаруженных. Надо заметить, что редких случаях, когда какие-нибудь буквы имеют равные вероятности появления их в тексте, возникает неопределенность их кодирования, т.е. несколько правильных вариантов кода. Алгоритм работы управляющей программы выбирает один из возможных вариантов, причем неизвестно какой. И, хотя все возможные варианты кода являются по сути дела правильными, в этой ситуации вам следует найти правильный с точки зрения программы ответ методом подбора.
Если ошибок нет или все ошибки исправлены, программа дополнительно высвечивает новое окно Форма 4. Использование кода Шеннона-Фэно для кодирования-декодирования сообщения (рис. 5). Окно Форма 3. Построение и проверка кода Шеннона-Фэно при этом сохраняется для того, чтобы видеть код и использовать его для кодирования и декодирования.
Рис. 5. Вид рабочего стола с дополнительным окном Форма 3. Построение и проверка кода Шеннона-Фэно
Рис. 6. Результат ввода закодированного и декодированного сообщений.
Далее следует два окна в формами 5 и 6, аналогичных формам 3 и 4 , предназначенными для ввода и использования кода Хаффмена.
