- •1. Понятие об информации
- •1.1. Понятие и свойства информации. Носитель информации.
- •1.2. Понятие знака. Классификация знаков по ч. Пирсу (с примерами). Классификация знаков по способу восприятия.
- •1.3. Понятие знаковой системы. Составляющие знаковой системы. Примеры знаковых систем.
- •1.4. Предмет изучение семиотики. Составляющие семиотики.
- •1.5. Предмет изучения математической теории информации и теории кодирования.
- •2. Понятие о системе связи
- •2.1. Основные отличия цифровых и аналоговых сигналов. Способы передачи сигнала по каналу связи. Понятие о несущей частоте.
- •2.2. Основные характеристики канала связи. Асинхронная и синхронная передача данных.
- •2.7. Требования к методам импульсной модуляции и способы их достижения.
- •2.8. Виды аналоговой модуляции.
- •2.9. Общая модель системы связи по Шеннону. Назначение блоков модели.
- •2.10. Детализированная модель системы связи. Назначение блоков модели.
- •2.11. Виды и назначение преобразований, используемых в системе цифровой связи.
- •2.12. Способ задания математической модели дискретного канала связи. Используемые вероятности. Вид диаграммы условных вероятностей.
- •Вид диаграммы условных вероятностей.
- •3. Формирование цифровых сообщений
- •3.1. Этапы аналого-цифрового преобразования. Параметры ацп. Как определить необходимую частоту дискретизации сигнала при ацп?
- •3.2. Понятие диапазона квантования, интервалов квантования, пороговых уровней, уровней квантования. Постановка задачи квантования.
- •3.6. Причины возникновения эффекта "ложных контуров" при квантовании изображений и способы борьбы с ним (перечислить основные подходы).
- •3.7. Принципы и ключевые особенности дикм. Математическое представление дикм.
- •3.8. Параметры дикм. Понятие об адаптивной дикм.
- •3.9. Отличие дельта-модуляции от дикм. Виды искажений, типичные для кодера дм. В чем заключается сложность борьбы с этими видами искажений?
- •3.10. Математическое представление дм первого порядка и дм второго порядка.
- •3.11. Понятие мгновенного и слогового компандирования. Цель использования компандирования в алгоритмах дм.
- •3.12. Понятие о векторном квантовании. Что такое кодовая книга? Преимущества и недостатки векторного квантования по сравнения со скалярным квантованием.
- •4 Количественные характеристики информационных сообщений
- •4.1. Комбинаторный, вероятностный, марковский и бернуллиевский источники сообщений. Определение дискретного ансамбля.
- •4.2. Требования к мере количества информации в сообщении. Известные меры к определению количества информации (комбинаторный подход, вероятностный подход, алгоритмический подход).
- •4.3. Количественные информационные оценки для дискретных источников с памятью. Понятие условной собственной информации, совместной и взаимной информации пары событий ансамбля xy.
- •4.4. Количественные информационные оценки для дискретных источников с памятью. Понятие совместной энтропии, условной энтропии и средней взаимной информации ансамбля xy.
- •4.5. Описание системы связи на основе количественных оценок теории информации.
- •5. Эффективное кодирование сообщений
- •5.1. Постановка задачи кодирования источника. Типы кодирования (понятие кодов фиксированной и переменной длины). Цель эффективного кодирования.
- •5.2. Теорема кодирования источника кодами фиксированной длины и ее смысл.
- •5.3. Базовые стратегии компрессии данных.
- •5.5. Обобщенная теорема кодирования источника и ее смысл.
- •5.6. Особенности оптимального кода, построенного по статическому алгоритму Хаффмана.
- •5.7. Структура кодера и декодера адаптивного кодирования. Проблемы адаптивного кодирования (на примере адаптивного метода Хаффмана).
- •5.8. Принципы арифметического кодирования. Преимущество арифметического кодирования перед кодированием по Хаффману.
- •5.9. Понятие унарного кода. Понятие монотонного кода. Назначение унарного и монотонного кода. Принципы кодирования чисел с разделением мантисс и экспонент.
- •5.10. Оценка энтропии бинарного изображения при кодировании методом длин серий (rle).
- •5.11. Принципы методов словарного сжатия. Проблемы практической реализации словарных алгоритмов.
- •6. Помехоустойчивое кодирование
- •6.1. Теорема Шеннона для дискретного канала с шумом.
- •6.2. Классификация помехоустойчивых кодов. Расстояние Хэмминга. Кратность ошибки. Требования к минимальному расстоянию между кодовыми словами для обнаружения и исправления ошибок.
- •6.3. Порождающая и проверочная матрицы систематического блочного кода. Принципы построения и связь между ними. Понятие синдрома ошибки.
- •6.6. Представление кодового слова в виде полинома. Свойства порождающего многочлена для циклического кода.
- •6.7. Алгоритм формирования кодового слова для систематического циклического кода.
3.10. Математическое представление дм первого порядка и дм второго порядка.
ДМ первого порядка:
Модуляция:
zi = Yi – yi;
Di+1 = -sign(zi);
Демодуляция:
ÑYi+1 = c*Di+1;
Yi+1 = Yi + ÑYi+1; c*>0
где yi = y(ti) – значение модулируемой функции на i-м шаге в момент времени ti, i=1,2,…; Yi – значение демодулированной функции на i-м шаге; zi – ошибка дельта-модуляции на i-м шаге; ÑYi+1 – первая разность демодулированной функции; sign(x) Î {-1;+1}, причем sign(0)=+1 или sign(0)=-1.
ДМ второго порядка:
Модуляция:
zi = Yi – yi;
Ñzi = zi – zi-1;
Fi = zi + 1.5Ñzi + (0.5Ñzi2/c – 0.125c)sign(Ñzi);
Di+1 = -sign(Fi);
Демодуляция:
Ñ2Yi+1 = c*Di+1;
ÑYi+1 = ÑYi + Ñ2Yi+1;
Yi+1 = Yi + ÑYi+1; c*³c; c>0
где yi = y(ti) – значение модулируемой функции на i-м шаге в момент времени ti, i=1,2,…; Yi – значение демодулированной функции на i-м шаге; zi – ошибка дельта-модуляции на i-м шаге; Ñzi – приращение погрешности; Ñ2Yi+1 - вторая разность демодулированной функции (квант модуляции); ÑYi+1 – первая разность демодулированной функции; sign(x) Î {-1;+1}, причем sign(0)=+1 или sign(0)=-1.
3.11. Понятие мгновенного и слогового компандирования. Цель использования компандирования в алгоритмах дм.
На практике, для обработки сигнала, характеристики которого плохо предсказуемы, используют методы адаптации величины кванта модуляции к скорости изменения кодируемого сигнала. Это – компандирование.
При мгновенном компандировании абсолютная величина размера шага квантования определяется значениями нескольких знаков квантов модуляции.
При инерционном (слоговом) компандировании размер шага квантования на следующем шаге вычисляется с коэффициентом увеличения/уменьшения относительно размера шага квантования на предыдущем шаге.
3.12. Понятие о векторном квантовании. Что такое кодовая книга? Преимущества и недостатки векторного квантования по сравнения со скалярным квантованием.
Вид квантования, при котором выполняется одновременное квантование блока отсчетов, называется векторным квантованием.
Пример – палитризация полноцветного изображения для хранения в формате с ограниченным набором различных цветов.
Векторное квантование блоков данных можно рассматривать как проблему распознавания образов, включающую в себя классификацию блоков данных через дискретное количество категорий или ячеек в соответствии с некоторым критерием точности, таким, например, как среднеквадратичная ошибка.
.
Каждая ячейка в многомерном пространстве, в которую может попасть исходный вектор X, характеризуется центроидом, минимизирующем ошибку квантования – значением X'. Обычно X' выбирается из конечного множества значений – кодовой книги. Размер кодовой книги можно считать равным числу уровней скалярных квантователей.
Недостатки по сравнению со скалярным квантованием:
- необходимость формирования оптимальной кодовой книги и ее хранения/передачи;
- высокая трудоемкость.
Преимущества: - теоретически более высокая эффективность, чем у скалярного квантователя.
