- •1. Понятие об информации
- •1.1. Понятие и свойства информации. Носитель информации.
- •1.2. Понятие знака. Классификация знаков по ч. Пирсу (с примерами). Классификация знаков по способу восприятия.
- •1.3. Понятие знаковой системы. Составляющие знаковой системы. Примеры знаковых систем.
- •1.4. Предмет изучение семиотики. Составляющие семиотики.
- •1.5. Предмет изучения математической теории информации и теории кодирования.
- •2. Понятие о системе связи
- •2.1. Основные отличия цифровых и аналоговых сигналов. Способы передачи сигнала по каналу связи. Понятие о несущей частоте.
- •2.2. Основные характеристики канала связи. Асинхронная и синхронная передача данных.
- •2.7. Требования к методам импульсной модуляции и способы их достижения.
- •2.8. Виды аналоговой модуляции.
- •2.9. Общая модель системы связи по Шеннону. Назначение блоков модели.
- •2.10. Детализированная модель системы связи. Назначение блоков модели.
- •2.11. Виды и назначение преобразований, используемых в системе цифровой связи.
- •2.12. Способ задания математической модели дискретного канала связи. Используемые вероятности. Вид диаграммы условных вероятностей.
- •Вид диаграммы условных вероятностей.
- •3. Формирование цифровых сообщений
- •3.1. Этапы аналого-цифрового преобразования. Параметры ацп. Как определить необходимую частоту дискретизации сигнала при ацп?
- •3.2. Понятие диапазона квантования, интервалов квантования, пороговых уровней, уровней квантования. Постановка задачи квантования.
- •3.6. Причины возникновения эффекта "ложных контуров" при квантовании изображений и способы борьбы с ним (перечислить основные подходы).
- •3.7. Принципы и ключевые особенности дикм. Математическое представление дикм.
- •3.8. Параметры дикм. Понятие об адаптивной дикм.
- •3.9. Отличие дельта-модуляции от дикм. Виды искажений, типичные для кодера дм. В чем заключается сложность борьбы с этими видами искажений?
- •3.10. Математическое представление дм первого порядка и дм второго порядка.
- •3.11. Понятие мгновенного и слогового компандирования. Цель использования компандирования в алгоритмах дм.
- •3.12. Понятие о векторном квантовании. Что такое кодовая книга? Преимущества и недостатки векторного квантования по сравнения со скалярным квантованием.
- •4 Количественные характеристики информационных сообщений
- •4.1. Комбинаторный, вероятностный, марковский и бернуллиевский источники сообщений. Определение дискретного ансамбля.
- •4.2. Требования к мере количества информации в сообщении. Известные меры к определению количества информации (комбинаторный подход, вероятностный подход, алгоритмический подход).
- •4.3. Количественные информационные оценки для дискретных источников с памятью. Понятие условной собственной информации, совместной и взаимной информации пары событий ансамбля xy.
- •4.4. Количественные информационные оценки для дискретных источников с памятью. Понятие совместной энтропии, условной энтропии и средней взаимной информации ансамбля xy.
- •4.5. Описание системы связи на основе количественных оценок теории информации.
- •5. Эффективное кодирование сообщений
- •5.1. Постановка задачи кодирования источника. Типы кодирования (понятие кодов фиксированной и переменной длины). Цель эффективного кодирования.
- •5.2. Теорема кодирования источника кодами фиксированной длины и ее смысл.
- •5.3. Базовые стратегии компрессии данных.
- •5.5. Обобщенная теорема кодирования источника и ее смысл.
- •5.6. Особенности оптимального кода, построенного по статическому алгоритму Хаффмана.
- •5.7. Структура кодера и декодера адаптивного кодирования. Проблемы адаптивного кодирования (на примере адаптивного метода Хаффмана).
- •5.8. Принципы арифметического кодирования. Преимущество арифметического кодирования перед кодированием по Хаффману.
- •5.9. Понятие унарного кода. Понятие монотонного кода. Назначение унарного и монотонного кода. Принципы кодирования чисел с разделением мантисс и экспонент.
- •5.10. Оценка энтропии бинарного изображения при кодировании методом длин серий (rle).
- •5.11. Принципы методов словарного сжатия. Проблемы практической реализации словарных алгоритмов.
- •6. Помехоустойчивое кодирование
- •6.1. Теорема Шеннона для дискретного канала с шумом.
- •6.2. Классификация помехоустойчивых кодов. Расстояние Хэмминга. Кратность ошибки. Требования к минимальному расстоянию между кодовыми словами для обнаружения и исправления ошибок.
- •6.3. Порождающая и проверочная матрицы систематического блочного кода. Принципы построения и связь между ними. Понятие синдрома ошибки.
- •6.6. Представление кодового слова в виде полинома. Свойства порождающего многочлена для циклического кода.
- •6.7. Алгоритм формирования кодового слова для систематического циклического кода.
6.6. Представление кодового слова в виде полинома. Свойства порождающего многочлена для циклического кода.
Кодовое слово v, состоящее из n битов, определяется полиномом
.
Порождающий многочлен – неприводимый нулевой многочлен (или произведение неприводимых многочленов) степени , у которого свободный член обязательно равен 1:
.
Порождающий
многочлен циклического кода является
множителем
,
т.е.
.
Кодовые комбинации циклического кода удовлетворяют условиям:
-
без остатка делятся на порождающий
многочлен
;
-
при умножении на проверочный полином
дают 0 по модулю
.
Старшая степень порождающего многочлена определяет число контрольных символов в кодовом слове.
6.7. Алгоритм формирования кодового слова для систематического циклического кода.
Алгоритм кодирования систематического циклического -кода:
1)
информационный многочлен
степени
умножается на
,
где
;
2)
находится остаток
от деления
на
;
3)
многочлен
степени
заносится в
младших разрядов кодового слова.
Получаем:
.
При кодировании систематическим кодом операция деления выполняется для вычисления остатка при делении на порождающий многочлен в процессе формирования кодового слова. При декодировании операция деления полученного кодового слова на порождающий многочлен позволяет получить остаток, являющийся синдромом ошибки (если он не равен нулю, то имела место ошибка при передаче).
