- •Министерство образования и науки рф
- •080801 Прикладная информатика (по областям применения)
- •Сочи, 2010 г.
- •1. Меры информации 20
- •2. Квантование сигналов 46
- •3.8. Помехоустойчивое кодирование 96
- •Введение Курс лекций
- •Определение понятия информация
- •Некоторые определения
- •Фазы обращения информации
- •1. Меры информации
- •1.1. Структурные меры количества информации
- •1.1.1. Геометрическая мера
- •1.1.2. Комбинаторная мера
- •1.1.3. Аддитивная мера (мера Хартли)
- •1.2. Статистические меры
- •1.2.1. Энтропия и ее свойства.
- •1.2.1.1. Энтропия и средняя энтропия простого события
- •Метод множителей Лагранжа
- •1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий
- •1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения
- •1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий
- •1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона
- •1.2.3. Литература
- •1.2.4. Избыточность сообщения
- •1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона
- •1.3. Семантические меры информации
- •1.3.1. Содержательность информации
- •1.3.2. Целесообразность информации
- •1.3.3. Динамическая энтропия
- •1.4. Общие замечания об измерении информации
- •1.5. Энтропия непрерывных сообщений
- •1.5.1. Экстремальные свойства энтропии непрерывных сообщений
- •1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)
- •1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)
- •1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)
- •2. Квантование сигналов
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •2.3. Элементы обобщенной спектральной теории сигналов
- •2.4. Дискретизация по времени
- •2.4.1. Разложение в ряд Котельникова (Теорема Котельникова)
- •2.4.1.1. Свойства функции отсчетов
- •2.4.1.2. О практическом использовании теоремы Котельникова
- •2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
- •2.4.2.1. Интерполяция при помощи полиномов Лагранжа
- •2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
- •2.4.2.3. Схема дискретизации-передачи-восстановления сигнала
- •2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка
- •2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка
- •2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка
- •2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка
- •2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
- •2.5. Квантование по уровню
- •2.5.1. Оптимальное квантование по уровню
- •2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
- •2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
- •2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
- •2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
- •3. Кодирование информации
- •3.1. Общие понятия и определения. Цели кодирования
- •3.2. Элементы теории кодирования
- •3.3. Неравенство Крафта
- •3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
- •3.5. Основная теорема кодирования для канала связи без шума (теорема 3)
- •3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
- •3.7. Оптимальные неравномерные коды
- •3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
- •3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
- •3.7.3. Коды Хаффмена12
- •3.7.4. Коды Шеннона−Фэно
- •3.7.5. Параметры эффективности оптимальных кодов
- •3.7.6. Особенности эффективных кодов.
- •3.8. Помехоустойчивое кодирование
- •3.8.1. Классификация кодов
- •3.8.2. Простейшие модели цифровых каналов связи с помехами
- •3.8.3. Расчет вероятности искажения кодового слова в дсмк
- •3.8.4. Общие принципы использования избыточности
- •3.8.5. Граница Хэмминга
- •3.8.6. Избыточность помехоустойчивых кодов
- •3.8.7. Математическое введение к алгебраическим кодам
- •3.8.8. Линейные коды
- •3.8.9. Упрощённый способ построения линейного кода
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •3.8.10. Двоичные циклические коды
- •3.8.11. Некоторые свойства циклических кодов
- •3.8.12. Построение кода с заданной корректирующей способностью
- •3.8.13. Матричное описание циклических кодов
- •3.8.14. Выбор образующего полинома
- •4. Передача информации
- •4.1. Виды каналов передачи информации
- •4.2. Разделение каналов связи
- •4.2.1. Частотное разделение
- •4.2.2. Временное разделение
- •4.2.3. Кодовое разделение
- •4.2.4. Разделение по уровню
- •4.2.5. Корреляционное разделение
- •4.2.6. Комбинированные методы разделения
- •4.3. Пропускная способность каналов связи
- •4.4. Пропускная способность дискретного канала связи с шумом
- •4.4.1. Типичные последовательности и их свойства
- •4.4.2. Основная теорема Шеннона для дискретного канала с шумом
- •4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом
- •4.5. Пропускная способность непрерывного канала при наличии аддитивного шума
- •Литература
- •Приложение 1. Таблица неприводимых полиномов
- •Учебно-лабораторный практикум л абораторная работа 1: Исследование информативности источников дискретных сообщений.
- •Теоретическое введение
- •Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы.
- •Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке.
- •Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.
- •Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации
- •Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.
- •Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.
- •Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.Com) отчет на проверку преподавателю. Шаг 10. Защитите лабораторную работу у преподавателя. Варианты задания
- •Результаты работы
- •Сдача работы
- •Вопросы для самопроверки
- •Литература
- •Приложение 1: Пример оформления титульного листа
- •Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel Введение
- •Подключение возможности использования нестандартных функций.
- •Создание нестандартной функции
- •Приложение 3: Описание функции впр
- •Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени
- •Теоретическое введение.
- •Последовательность выполнения практической части работы
- •1. Знакомство с программой Wavosaur для записи и обработки звука.
- •2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой.
- •3. Запись голоса и подготовка сигнала.
- •4. Импорт текстовых данных в Excel
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
- •Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
- •Теоретическое введение.
- •Возможный вариант выполнения работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена.
- •Теоретическое введение.
- •Коды Хаффмена
- •Коды Шеннона−Фэно
- •Параметры эффективности оптимальных кодов
- •Особенности эффективных кодов.
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки.
- •Теоретическое введение.
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •12 Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики.
Возможный вариант выполнения работы
Используя программу Wavosaur запишите в память компьютера примерно следующую фразу:
Лабораторная работа номер 3 по дисциплине «Теория информации и кодирования» студента(тки) группы 07ПИ Иванова Петра Сидоровича (называются свои ФИО). Тема работы: «Исследование оптимального квантования непрерывных сообщений по уровню».
Преобразуйте стереосигнал в моно и нормализуйте его амплитуду. Измените частоту дискретизации с 44100 на 8000 герц. Фильтровать голосовой сигнал, как это было сделано во второй лабораторной работе, не следует. Спектр сигнала в этой работе нас не интересует.
Сохраните сигнал в текстовом формате в файле под своей фамилией и при помощи текстового процессора Word замените точки в дробных числах запятыми.
Откройте текстовый файл в Excel (файл будет прочитан не полностью). Данные введутся в столбец А. Для удобства последующихрасчетов увеличим масштаб сигнала путем умножения его на 500. Для этого ведите заголовки столбцов А и В и заполните формулы в столбец В (см. рис. 1 и 2).
Рис. 1. Данные. Рис. 2. Формулы.
Данные в столбце А находятся в интервале от -1 до +1. Умноженные на 500 (столбец В) - в интервале от -500 до +500.
Из теории следует, что для построения оптимальной шкалы нужно знать диференциальный закон распределения f(x) квантуемого по уровню сигнала. Этот закон используется при вычислении закона компандирования:
Согласно определению, точки f(x) дифференциального закона распределения равны:
,
где
- вероятность попадания значения
случайного процесса в интервал
.
Практически,
конечно, невозможно устремить
к нулю, но можно выбрать
достаточно малым. Таким образом можно
вычислить с достаточной точностью
значения дифференциального закона
f(x).
В нашем случае можно выбрать
=1,
что является достаточной малой величиной
относительно сигнала, значения которого
меняются в интервале от -500 до +500. Осталось
найти вероятности попадания зачений
сигнала в интервалы единичной ширины.
Этот расчет можно выполнить при помощи
инструмента Гистограмма
табличного процессора Excel.
Исходные данные находятся в столбце В. Для использования инструмента Гистограмма нужны Карманыс единичными интервалами (рис. 3).
Рис. 3. Интервал Карманов.
Интервал карманов протягивается от -500 до +500.
Запустите инструмент Гистограмма и укажите в его окне положение исходных данных (столбец В) и интервала карманов в столбце К (рис. 4).
Рис. 4. Содержимое окна Гистограмма.
В результате создается новая страница с результатами работы инструмента Гистограма в столбцах А и В.
На этой странице будет выполнено много вычислений. Добавьте в ее верхнюю часть примерно 22 пустые строки и вставьте в освободившееся пространство формулу закона компандирования (рис. 5).
Рис. 5. Изображение нового листа
Замените имя Лист1 нового листа на Шкалы.
Для качественного квантования целесообразно отбросить несколько процентов очень больших и очень малых отсчетов. Для этого образуем в столбце С нарастающую сумму частот, отображаемых в столбце В. Кроме того, скопируйте содержимое столбца А в столбец D и введите заголовки так, как изображено на рис. 6.
Рис. 6. Столбцы С и D.
Теперь найдем хmin, отсекающее 2% самых малых значений сигнала и xmax, отсекающее 2% самых больших значений сигнала, а также размера шага квантования по уровню равномерной шкалы квантования при 100 шагах (рис.7).
Рис. 7. Формулы расчета хmin, xmax и размера шага квантования по уровню равномерной шкалы квантования.
Для удобства сместим часть данных столбцов А и В вверх так, чтобы данные столбца А измнялись от хmin до xmax. Для этого создадим вспомогательный столбец E и столбцы F и G со смещенными данными из столбцов А и В так, как показано на рис. 8 и 9.
Рис. 8. Столбцы E-G
Рис. 9. Формулы в столбцах E-G.
Формулы в столбцах С, E-G копируются до строки 1024.
Теперь можно приступить к вычислению точек диференциального закона распределения f(x) голосового сигнала x(t).
Выше уже сообщалось, что значения этого закона приближенно совпадают с отношением вероятности попадания значения сигнала в некий интервал к ширине этого интервала. Возьмем интервал шириной, равной единице. Тогда приближенное значение закона распределения станет равным вероятности попадания в единичный интервал.
Для нахождения вероятности делим количество попаданий значений сигнала в единичный интервал на общее количество отсчетов. Общее количество отсчетов, значения которых больше хmin и меньше xmax находим в клетке G1025 по формуле =сумм(G24:G1024).
В
клетках столбца H
находим вероятности – точки закона
распределения f(x).
По ним в столбце I
вычисляем
.
Затем в столбце J
- интеграл
(рис. 10, 11).
Рис. 10. Вид столбцов H-J
Рис. 11. Формулы в столбцах H-J
Формулы в столбцах H-K следует копировать до строки с номером 24+(xmax - хmin).
Для
расчета закона компандирования в клетке
К21 подготовим вычисление
, а затем по формуле
вычислим значения точек закона компандирования (рис. 12, 13).
Рис. 12.
Рис. 13. Формулы.
В столбец L скопируйте столбец F и постройте график закона компандирования (рис. 14).
Рис. 14. График закона компандирования
Далее строим равномерную и неравномерную оптимальную шкалы квантования (рис. 15, 16).
Изучите формулы. Необходимо понять их смысл! В случае неудачи – проконсультируйтесь у преподавателя.
Рис. 15. Результат построения шкал квантования.
Рис. 16. Формулы, используемые при построении равномерной и неравномерной шкал квантования.
Согласно теории начальные значения шкал должны равняться хmin, а конечные – xmax. Из-за особенностей работы функции ВПР конечное значение оптимальной шкалы окажется несколько меньше. Поэтому вам нужно принудительно приравнять конечное значение оптимальной шкалы xmax.
Теперь оптимальная неравномерная и неоптимальная равномерная шкалы квантования найдены. Используем их для квантования вашего голосового сигнала, рассчитаем дисперсии ошибки в случае квантования при помощи оптимальной неравномерной и неоптимальной равномерной шкал и сравним эти экспериментально найденные дисперсии с их теоретическими значениями.
Все эти вычисления будем делать на листе, названном по имени файла с записью голосового сигнала (в данном примере это лист Иванов П.С.). Перейдите на этот лист.
Сначала пометим строчки с отсчетами, выходящими за границы интервала (xmin, xmax). Для этого заполним столбец С так, как показано на рис. 17, 18.
Рис. 17. Значения.
Рис. 18. Формулы.
Теперь строчки со значениями голосового сигнала, попадающими в интервал (xmin,xmax), помечены значением ИСТИНА в клетке столбца С, а строчки со значениями голосового сигнала, не попадающими в этот интервал, значением ЛОЖЬ. Это сделано для того, чтобы исключить крайние значения голосового сигнала.
Теперь все готово для использования ранее найденных шкал для квантования голосового сигнала по уровню. Процес такого квантования и расчет ошибок представлены на рис. 19, 20 (столбцы D-G).
Рис. 19. Результаты применения шкал и расчет ошибок квантования
Рис. 20. Формулы квантования и расчета ошибок
Теперь следует рассчитать теоретические дисперсии ошибок квантования для двух видов шкал (равномерной неоптимальной и неравномерной оптимальной), рассчитать экспериментальные дисперсии ошибок квантования для тех же шкал и сравнить их между собой.
В описываемом примере это сделано на листе Шкалы (рис. 21, 22).
Рис. 21. Результаты расчета теоретических и экспериментальных дисперсий ошибки квантования при использовании равномерной и оптимальной шкал квантования.
Рис. 22. Расчетные формулы для дисперсий ошибки.
Видно хорошее – в пределах нескольких процентов – совпадение теории и практики. Если и в вашем варианте такое совпадение наблюдается – вы справились с заданием, с чем вас и поздравляю!
