- •Министерство образования и науки рф
- •080801 Прикладная информатика (по областям применения)
- •Сочи, 2010 г.
- •1. Меры информации 20
- •2. Квантование сигналов 46
- •3.8. Помехоустойчивое кодирование 96
- •Введение Курс лекций
- •Определение понятия информация
- •Некоторые определения
- •Фазы обращения информации
- •1. Меры информации
- •1.1. Структурные меры количества информации
- •1.1.1. Геометрическая мера
- •1.1.2. Комбинаторная мера
- •1.1.3. Аддитивная мера (мера Хартли)
- •1.2. Статистические меры
- •1.2.1. Энтропия и ее свойства.
- •1.2.1.1. Энтропия и средняя энтропия простого события
- •Метод множителей Лагранжа
- •1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий
- •1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения
- •1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий
- •1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона
- •1.2.3. Литература
- •1.2.4. Избыточность сообщения
- •1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона
- •1.3. Семантические меры информации
- •1.3.1. Содержательность информации
- •1.3.2. Целесообразность информации
- •1.3.3. Динамическая энтропия
- •1.4. Общие замечания об измерении информации
- •1.5. Энтропия непрерывных сообщений
- •1.5.1. Экстремальные свойства энтропии непрерывных сообщений
- •1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)
- •1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)
- •1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)
- •2. Квантование сигналов
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •2.3. Элементы обобщенной спектральной теории сигналов
- •2.4. Дискретизация по времени
- •2.4.1. Разложение в ряд Котельникова (Теорема Котельникова)
- •2.4.1.1. Свойства функции отсчетов
- •2.4.1.2. О практическом использовании теоремы Котельникова
- •2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
- •2.4.2.1. Интерполяция при помощи полиномов Лагранжа
- •2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
- •2.4.2.3. Схема дискретизации-передачи-восстановления сигнала
- •2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка
- •2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка
- •2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка
- •2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка
- •2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
- •2.5. Квантование по уровню
- •2.5.1. Оптимальное квантование по уровню
- •2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
- •2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
- •2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
- •2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
- •3. Кодирование информации
- •3.1. Общие понятия и определения. Цели кодирования
- •3.2. Элементы теории кодирования
- •3.3. Неравенство Крафта
- •3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
- •3.5. Основная теорема кодирования для канала связи без шума (теорема 3)
- •3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
- •3.7. Оптимальные неравномерные коды
- •3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
- •3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
- •3.7.3. Коды Хаффмена12
- •3.7.4. Коды Шеннона−Фэно
- •3.7.5. Параметры эффективности оптимальных кодов
- •3.7.6. Особенности эффективных кодов.
- •3.8. Помехоустойчивое кодирование
- •3.8.1. Классификация кодов
- •3.8.2. Простейшие модели цифровых каналов связи с помехами
- •3.8.3. Расчет вероятности искажения кодового слова в дсмк
- •3.8.4. Общие принципы использования избыточности
- •3.8.5. Граница Хэмминга
- •3.8.6. Избыточность помехоустойчивых кодов
- •3.8.7. Математическое введение к алгебраическим кодам
- •3.8.8. Линейные коды
- •3.8.9. Упрощённый способ построения линейного кода
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •3.8.10. Двоичные циклические коды
- •3.8.11. Некоторые свойства циклических кодов
- •3.8.12. Построение кода с заданной корректирующей способностью
- •3.8.13. Матричное описание циклических кодов
- •3.8.14. Выбор образующего полинома
- •4. Передача информации
- •4.1. Виды каналов передачи информации
- •4.2. Разделение каналов связи
- •4.2.1. Частотное разделение
- •4.2.2. Временное разделение
- •4.2.3. Кодовое разделение
- •4.2.4. Разделение по уровню
- •4.2.5. Корреляционное разделение
- •4.2.6. Комбинированные методы разделения
- •4.3. Пропускная способность каналов связи
- •4.4. Пропускная способность дискретного канала связи с шумом
- •4.4.1. Типичные последовательности и их свойства
- •4.4.2. Основная теорема Шеннона для дискретного канала с шумом
- •4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом
- •4.5. Пропускная способность непрерывного канала при наличии аддитивного шума
- •Литература
- •Приложение 1. Таблица неприводимых полиномов
- •Учебно-лабораторный практикум л абораторная работа 1: Исследование информативности источников дискретных сообщений.
- •Теоретическое введение
- •Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы.
- •Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке.
- •Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.
- •Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации
- •Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.
- •Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.
- •Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.Com) отчет на проверку преподавателю. Шаг 10. Защитите лабораторную работу у преподавателя. Варианты задания
- •Результаты работы
- •Сдача работы
- •Вопросы для самопроверки
- •Литература
- •Приложение 1: Пример оформления титульного листа
- •Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel Введение
- •Подключение возможности использования нестандартных функций.
- •Создание нестандартной функции
- •Приложение 3: Описание функции впр
- •Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени
- •Теоретическое введение.
- •Последовательность выполнения практической части работы
- •1. Знакомство с программой Wavosaur для записи и обработки звука.
- •2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой.
- •3. Запись голоса и подготовка сигнала.
- •4. Импорт текстовых данных в Excel
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
- •Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
- •Теоретическое введение.
- •Возможный вариант выполнения работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена.
- •Теоретическое введение.
- •Коды Хаффмена
- •Коды Шеннона−Фэно
- •Параметры эффективности оптимальных кодов
- •Особенности эффективных кодов.
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки.
- •Теоретическое введение.
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •12 Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики.
3.8.5. Граница Хэмминга
Граница Хэмминга Q, определяет максимально возможное количество разрешенных кодовых слов равномерного кода при заданных длине n кодового слова и корректирующей способности кода КСК.
Найдем связь между максимально возможной корректирующей способностью КСК, длиной n кодового слова и максимальным числом Q разрешенных кодовых слов в случае использования ДСК.
В круг (шар) диаметром КСК поместится
кодовых
слов.
Поскольку подмножества не пересекаются, то
.
(3.1)
Коды, число кодовых слов которых равно Q, называются оптимальными или плотноупакованными.
В геометрической интерпретации это означает, что круги на плоскости или шары в объеме соприкасаются, не пересекаясь друг с другом, и любая кодовая комбинация обязательно входит в какой-либо круг или шар. Избыточность при этом используется максимально. Однако, если учесть сложность аппаратной или программной реализации, использование оптимальных кодов не всегда выгодно.
3.8.6. Избыточность помехоустойчивых кодов
Одной из характеристик кода является его избыточность. Увеличение избыточности в принципе нежелательно, т.к. увеличивает объемы хранимых и передаваемых данных, однако для борьбы с искажениями избыточность вводят искусственно. Важно только, чтобы она использовалась эффективно.
Различают абсолютную и относительную избыточность.
Абсолютная избыточность Иабс равномерных помехоустойчивых кодов находится по формуле:
Иабс=n-k.
Относительная избыточность:
Иотн= Иабс/n=1-k/n.
При определенных условиях избыточность помехоустойчивого кода связана с избыточностью сообщения.
Если предположить равновероятность появления разрешенных кодовых слов, то избыточность D сообщения в виде кодового слова, вычисляемая по формуле D=Hmax – H, будет равна абсолютной избыточности кода: D=n-k=Иабс .
Это легко доказать, учитывая, что
и .
3.8.7. Математическое введение к алгебраическим кодам
В настоящее время наиболее изучены, многочисленны, исследованы и широко используются корректирующие коды, описываемые при помощи аппарата высшей алгебры. Поэтому, прежде чем приступить к рассмотрению конкретных корректирующих кодов ознакомимся с используемой при этом частью высшей алгебры.
Предметом высшей алгебры являются так называемые алгебраические системы, являющиеся совокупностью некоторых множеств и определенных на элементах этих множеств операций.
Под двухместной операцией здесь понимается однозначное сопоставление двум элементам множества с третьим по определенным правилам.
Под одноместной операцией понимается однозначное сопоставление одному элементу множества с другим по определенным правилам.
Обычно основные операции называются сложением (a+b=c) и умножением (ab=d), а обратные им вычитанием и делением, даже если этим операции производятся не над числами (например, над оттенками цветов или геометрическими фигурами) и не идентичны соответствующим арифметическим операциям. С точки зрения высшей алгебры элементарная школьная алгебра − одна из бесконечного множества других возможных алгебраических систем.
Свойства и наименования систем зависят от законов, которые в них определены.
Пусть S – множество
некоторых элементов, а а и b
- элементы, принадлежащие множеству S
(последнее записывается в виде
).
В таблице 3.9 определены некоторые важные для нас законы (Элементы теории передачи дискретной информации. –М.:Связь, 1972):
Таблица 3.9.
Законы композиции |
Операция |
|||
Сложение |
Умножение |
|||
Обозн. |
Формула |
Обозн. |
Формула |
|
Замкнутость (если
,
то
|
А1 |
a+b=c |
M1 |
ab=c |
Ассоциативность |
А2 |
(a+b)+c= a+(b+c) |
M2 |
(ab)c=a(bc) |
Коммутативность |
А3 |
a+b=b+a |
M3 |
ab=ba |
Наличие нулевого для операции сложения и единичного для операции умножения элемента е. |
А4 |
a+e=e+a=a |
M4 |
ae=ea=a |
Наличие для
|
А5 |
|
M5 |
|
Дистрибутивность |
D1 |
a(b=c) = ab=ac |
||
D2 |
(b+c)a = ba+bc |
|||
Система, в которой определены две основные операции (сложение и умножение) и которая соответствует всем отмеченным в таблице свойствам, называется полем.
Система, в которой определены обе основные операции и выполняются законы А1−А5, М1, М2, D1 и D2, называется кольцом.
Если дополнительно в некотором кольце выполняется закон М3, то это кольцо – коммутативное.
Система, в которой задана лишь одна операция (сложение или умножение) и выполняются законы А1, А2, А4, А5 или М1, М2, М4, М5 называется группой.
Если в группе определена операция сложения, то такая группа называется аддитивной, если умножения, то мультипликативной.
Группа называется коммутативной или абелевой, если в ней выполняется закон коммутативности (А3 или М3) в зависимости от введенной операции.
Группы, имеющие конечное число элементов, называются конечными.
Построим алгебраическую систему, удобную для описания кодов равномерных двоичных кодов.
Предположим, что кодовые комбинации
образуют множество S.
Определим теперь операцию суммирования,
обладающую свойствами А1, А2, А4, А5 и
образуем таким образом группу. Операцию
суммирования определим таким образом,
чтобы удовлетворялось условие замкнутости
А1. Следовательно, число разрядов при
выполнении этой операции меняться не
должно. Этому условию отвечает операция
поразрядного сложения кодовых слов по
модулю 2 (обозначается знаком
).
Результатом такого сложения будет 1,
если число единиц в разряде слагаемых
четно, и 0 − если нечетно.
Пример:
1 0 1 1 1 0 1
0 1 1 1 1 0 1
0 0 0 1 1 1 0
1 1 0 1 1 1 0
Выбранная операция коммутативна, поэтому группа будет абелевой.
Нулевым элементом является комбинация, состоящая из одних нулей (это легко проверить).
Противоположным элементом является сама кодовая комбинация, а обратная операция – вычитание – тождественна основной операции суммирования.

).
обратного
элемента
.