- •Министерство образования и науки рф
- •080801 Прикладная информатика (по областям применения)
- •Сочи, 2010 г.
- •1. Меры информации 20
- •2. Квантование сигналов 46
- •3.8. Помехоустойчивое кодирование 96
- •Введение Курс лекций
- •Определение понятия информация
- •Некоторые определения
- •Фазы обращения информации
- •1. Меры информации
- •1.1. Структурные меры количества информации
- •1.1.1. Геометрическая мера
- •1.1.2. Комбинаторная мера
- •1.1.3. Аддитивная мера (мера Хартли)
- •1.2. Статистические меры
- •1.2.1. Энтропия и ее свойства.
- •1.2.1.1. Энтропия и средняя энтропия простого события
- •Метод множителей Лагранжа
- •1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий
- •1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения
- •1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий
- •1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона
- •1.2.3. Литература
- •1.2.4. Избыточность сообщения
- •1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона
- •1.3. Семантические меры информации
- •1.3.1. Содержательность информации
- •1.3.2. Целесообразность информации
- •1.3.3. Динамическая энтропия
- •1.4. Общие замечания об измерении информации
- •1.5. Энтропия непрерывных сообщений
- •1.5.1. Экстремальные свойства энтропии непрерывных сообщений
- •1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)
- •1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)
- •1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)
- •2. Квантование сигналов
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •2.3. Элементы обобщенной спектральной теории сигналов
- •2.4. Дискретизация по времени
- •2.4.1. Разложение в ряд Котельникова (Теорема Котельникова)
- •2.4.1.1. Свойства функции отсчетов
- •2.4.1.2. О практическом использовании теоремы Котельникова
- •2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
- •2.4.2.1. Интерполяция при помощи полиномов Лагранжа
- •2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
- •2.4.2.3. Схема дискретизации-передачи-восстановления сигнала
- •2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка
- •2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка
- •2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка
- •2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка
- •2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
- •2.5. Квантование по уровню
- •2.5.1. Оптимальное квантование по уровню
- •2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
- •2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
- •2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
- •2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
- •3. Кодирование информации
- •3.1. Общие понятия и определения. Цели кодирования
- •3.2. Элементы теории кодирования
- •3.3. Неравенство Крафта
- •3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
- •3.5. Основная теорема кодирования для канала связи без шума (теорема 3)
- •3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
- •3.7. Оптимальные неравномерные коды
- •3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
- •3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
- •3.7.3. Коды Хаффмена12
- •3.7.4. Коды Шеннона−Фэно
- •3.7.5. Параметры эффективности оптимальных кодов
- •3.7.6. Особенности эффективных кодов.
- •3.8. Помехоустойчивое кодирование
- •3.8.1. Классификация кодов
- •3.8.2. Простейшие модели цифровых каналов связи с помехами
- •3.8.3. Расчет вероятности искажения кодового слова в дсмк
- •3.8.4. Общие принципы использования избыточности
- •3.8.5. Граница Хэмминга
- •3.8.6. Избыточность помехоустойчивых кодов
- •3.8.7. Математическое введение к алгебраическим кодам
- •3.8.8. Линейные коды
- •3.8.9. Упрощённый способ построения линейного кода
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •3.8.10. Двоичные циклические коды
- •3.8.11. Некоторые свойства циклических кодов
- •3.8.12. Построение кода с заданной корректирующей способностью
- •3.8.13. Матричное описание циклических кодов
- •3.8.14. Выбор образующего полинома
- •4. Передача информации
- •4.1. Виды каналов передачи информации
- •4.2. Разделение каналов связи
- •4.2.1. Частотное разделение
- •4.2.2. Временное разделение
- •4.2.3. Кодовое разделение
- •4.2.4. Разделение по уровню
- •4.2.5. Корреляционное разделение
- •4.2.6. Комбинированные методы разделения
- •4.3. Пропускная способность каналов связи
- •4.4. Пропускная способность дискретного канала связи с шумом
- •4.4.1. Типичные последовательности и их свойства
- •4.4.2. Основная теорема Шеннона для дискретного канала с шумом
- •4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом
- •4.5. Пропускная способность непрерывного канала при наличии аддитивного шума
- •Литература
- •Приложение 1. Таблица неприводимых полиномов
- •Учебно-лабораторный практикум л абораторная работа 1: Исследование информативности источников дискретных сообщений.
- •Теоретическое введение
- •Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы.
- •Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке.
- •Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.
- •Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации
- •Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.
- •Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.
- •Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.Com) отчет на проверку преподавателю. Шаг 10. Защитите лабораторную работу у преподавателя. Варианты задания
- •Результаты работы
- •Сдача работы
- •Вопросы для самопроверки
- •Литература
- •Приложение 1: Пример оформления титульного листа
- •Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel Введение
- •Подключение возможности использования нестандартных функций.
- •Создание нестандартной функции
- •Приложение 3: Описание функции впр
- •Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени
- •Теоретическое введение.
- •Последовательность выполнения практической части работы
- •1. Знакомство с программой Wavosaur для записи и обработки звука.
- •2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой.
- •3. Запись голоса и подготовка сигнала.
- •4. Импорт текстовых данных в Excel
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
- •Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
- •Теоретическое введение.
- •Возможный вариант выполнения работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена.
- •Теоретическое введение.
- •Коды Хаффмена
- •Коды Шеннона−Фэно
- •Параметры эффективности оптимальных кодов
- •Особенности эффективных кодов.
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки.
- •Теоретическое введение.
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •12 Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики.
Результаты работы
В результате выполнения работы должен быть представлен архивный файл следующего содержания:
Wav-файл с записью голоса автора работы;
txt-файлы.
Еxcel-файл с расчетами;
Word-документ с титульным листом (см. образец титульного листа), теоретически обоснованным описанием хода выполнения работы, ее результатами и выводами.
Все файлы нужно упаковать при помощи архиватора WinZip или WinRar в один архивный файл и сдать преподавателю на проверку.
После этого работа защищается. При успешной защите она считается успешно выполненной, о чем преподаватель делает отметку в журнале.
Защита заключается в обсуждении теории по теме работы и хода ее выполнения.
Литература
Мацканюк А. А. Теория информации и кодирования: Учеб. пособие для студентов вузов спец. 351400 «Прикладная информатика (по областям)». – Сочи: РИО СГУТиКД, 2003. – 198 с.: 51 рис., 11 табл. – библиогр: 13 назв.
Кэтермоул К. В. Принципы импульсно-кодовой модуляции. –М.:Связь, 1974. – 408 с.
Советов Б. Я. Теория информации. –Л.: Из-во ЛГУ, 1977. – 184 с.
Вопросы для самопроверки
Что понимается под дискретизацией непрерывного сигнала по времени? Какой вид представления (непрерывный, непрерывно-дискретный или дискретный) в итоге получается и почему?
Сформулируйте теорему Котельникова-Найквиста.
Расскажите о трудностях ее практического использования.
Как на результаты дискретизации влияет размер шага дискретизации?
Перечислите критерии точности восстановления исходного сигнала.
Опишите функции Лагранжа.
Опишите форму сигнала, восстановленного при помощи полиномов Лагранжа нулевого, первого и второго порядков.
Опишите связь размера шага квантования по времени с порядком полиномов Лагранжа и ошибкой восстановления исходной функции?
Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
Рисунком
П1 иллюстрируется тот факт, что для
вычисления слагаемых
ряда Найквиста-Котельникова
функция отсчетов
нужна в интервале значений аргумента
от –kmax
до kmax
.
В данной лабораторной работе kmax
= 64, на рисунке kmax
= 9.
Учтите, что графики на рис. П1 в Excel в варианте, описанном в данном методическом пособии, представлены столбцами чисел: x(t) столбцом А, слагаемое с k=0 – столбцом Z, слагаемое с k=1 – столбцом АА, …, слагаемое с k=64 – столбцом CL.
Рис. П1. Иллюстрация, поясняющая порядок вычисления ряда Найквиста-Котельникова
Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
Цель работы -: Закрепление теоретических знаний и приобретение практических навыков построения оптимальной шкалы квантования непрерывных сигналов по уровню.
Теоретическое введение.
Теория дискретизации непрерывных сигналов по времени изложена в главе 2 учебного пособия по дисциплине Теория информации и кодирование [1].
В данной лабораторной работе предлагается экспериментально подтвердить уменьшение дисперсии ошибки квантования по уровню при использовании оптимальной шкалы квантования.
В качестве квантуемого непрерывного сигнала берется звук вашего голоса. Программная поддержка работы со звуком имеется во всех современных операционных системах, в том числе и в Windows. Аппаратная же поддержка заключается в использовании звуковой карты или в наличии на материнской плате звукового чипа. Такими чипам сейчас оснащаются все новые материнские платы. Индивидуальность голоса обеспечивает различие получаемых результатов.
Квантование по уровню невозможно без наличия шкалы квантования. Шкала квантования представляет собой совокупность шагов квантования и соответствующих этим шагам уровней:
Здесь:
вертикальная ось – ось значений квантуемого сигнала,
горизонтальная ось – ось времени (на этом рисунке не изображена),
хmax и хmin – максимальное и минимальное значения сигнала,
штриховыми линиями показаны границы шагов квантования,
δi размер i-го шага квантования,
сплошными горизонтальными линиями показаны уровни квантования.
Квантование по уровню сводится к замене значения исходного сигнала уровнем того шага, в пределы которого это значение попадает.
Квантование по уровню – необходимое условие преобразования непрерывного сигнала в цифровую форму. Однако одного лишь квантования по уровню для этого недостаточно – для преобразования в цифровую форму необходимо сочетание квантования по уровню с дискретизацией по времени. Однако квантование, как и дискретизация приводят к искажению сигнала.
В результате квантования восстановленный сигнал приобретает ступенчатую форму:
Можно использовать разные критерии точности представления исходного сигнала квантованным. В данной работе будем использовать среднеквадратическую погрешность, которая часто совпадает с дисперсией ошибки.
С учетом этого критерия были получены [1] формулы и методика построения оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
Оптимизацию шкалы можно проводить при разных условиях. Формулы и методика построения оптимальной шкалы, изложенные в [1], предполагают наличие следующих условий:
интервал значений (xmin, xmax), покрываемый шагами квантования, при оптимизации шкалы остается неизменным;
количество шагов квантования при оптимизации остается неизменным;
количество шагов квантования по условиям вывода формул должно быть бесконечно большим;
уровни располагаются в центре шагов.
Результатом оптимизации является такое распределение границ шагов квантования, при котором дисперсия ошибки воспроизведения исходного сигнала минимальна.
Оптимальную шкалу можно использовать также для минимизации числа уровней квантования, при неизменной дисперсии ошибки. Уменьшение уровней квантования сокращает объем данных о сигнале, что, несомненно, благо.
В данной работе нас будет интересовать – использование оптимальной шкалы квантования для уменьшения среднеквадратической погрешности восстановления исходного сигнала.
Оптимизация здесь сводится к подбору такого расположения границ шагов квантования (на рисунках выше они обозначены горизонтальными штриховыми линиями), при котором среднеквадратическая погрешность становится минимальной. Подбор этих границ ведется при условии совпадения максимального xmax и минимального xmin значений исходного x(t) и квантованного xкв(t) сигналов.
Выведенные в методическом пособии [1] формулы рассчитаны на схему получения и применения оптимальной и в общем случае неравномерной шкалы квантования по уровню, изображенную на рис. 1.
Такая схема позволяет получать
неравномерную шкалу квантования по
уровню, используя стандартные
аналого-цифровые преобразователи с
равномерной шкалой квантования. Для
получения же в итоге оптимальной
неравномерной шкалы необходимо
использовать аналоговые экспандер и
компрессор, первый из которых преобразует
исходный сигнал X(t)
в промежуточный Y(t),
который и подвергается квантованию по
уровню, но уже с использованием стандартной
равномерной шкалы, а с помощью
второго выполняется обратное преобразование
квантованного промежуточного сигнала
в квантованный исходный
.
Рис. 1. Схема получения и применения оптимальной шкалы квантования по уровню
Построение оптимальной шкалы при использовании этой схемы сводится к определению функции y=φ(x) и обратной ей функции x= φ-1(y). Функция φ(x) называется законом компандирования и описывается формулой:
(1)
Здесь
f (x) – дифференциальный закон распределения квантуемого сигнала х ;
хmax и xmin – максимальное и минимальное значение сигнала х;
- константа, зависящая от дифференциальный
закон распределения квантуемого сигнала
х.
Аргумент х функции y, как видим, находится в верхнем пределе интегрирования.
Дисперсия ошибки в этом случае минимальна и рассчитывается по формуле:
(2)
Учитывая то, что вспомогательный сигнал y квантуется с равномерным шагом, используя график закона компандирования (1), несложно найти границы шагов неравномерной оптимальной шкалы. Этот процесс иллюстрируется графиком, изображенным на рис. 2.
Рис. 2. Закон компандирования и шаги квантования.
Интервал значений y (ymin, ymax) делится на n равных интервалов (n – число шагов квантования по уровню – в данной работе задается равным 8). Затем по границам шагов y с помощью закона компандирования находятся границы шагов неравномерной оптимальной шкалы квантования x.
После этого найденную шкалу можно использовать для квантования нашего голоса, оценить дисперсию ошибки квантования рассчитать теоретическую дисперсию, определяемую формулой (2) и сравнить теорию с практикой.
Для определения эффективности использования оптимальной неравномерной шкалы квантования по сравнению с традиционным равномерным квантованием выполним также квантование того же сигнала при помощи равномерной (неоптимальной) шкалы с тем же числом уровней квантования (8 уровней). По формуле (4) рассчитаем дисперсию ошибки квантования для этого случая:
(4)
Эта дисперсия должна быть больше дисперсии ошибки квантования с использованием оптимальной неравномерной шкалы.
