Алгоритмические основы мультимедийных технологий

Цель дисциплины – изучение принципов и методов, составляющих теоретический фундамент современных компьютерных мультимедиа-технологий. Помимо лекций и практических занятий предусмотрен курсовой проект. В результате студенты овладевают теоретической базой, необходимой для изучения и осмысленного применения разнообразных мультимедиа-средств в профессиональной работе, а также для выполнения исследований в релевантных инфокоммуникационных областях знания.

Тематика теоретического курса охватывает следующие основные разделы.

• Классификация мультимедиа-данных, методов и алгоритмов кодирования и компрессии.

• Цифровые аудио-данные. Аналого-цифровое преобразование, импульсно-кодовая модуляция ИКМ (PCM), теорема Найквиста-Котельникова, шум квантования, алгоритмы компенсации. Усовершенствования ИКМ (DPCM, ADPCM), дельта-модуляция.

• Кодирование речи, VoIP, стандарты серии G.700, метод кодирования GSM, алгоритм сжатия CELP. Методы аудио-компрессии по форме волны, психоакустические методы, алгоритмы сжатия для аудио-CD. Формат MP-3. Алгоритмы и протоколы управления передачей потокового аудио, чередование отсчетов (interlacing), протокол RTSP.

• Текстовые данные, методы сжатия, статистические алгоритмы. Словарные методы Лемпела-Зива, алгоритм LPC, динамическая компрессия для передачи потоков и пакетов текстовых данных. Механизмы контекстного моделирования CM и предсказания PPM. Препроцессинг текстовых данных, преобразование Барроуза-Уилера, перегруппировка исходных массивов, непрерывный режим сжатия (solid mode).

• Форматы и алгоритмы компьютерной графики. Алгоритмические основы растровой графики, форматы файлов. Кодирование цвета, цветовые модели.

• Графические данные. Свойства, характеристики и классы изображений. Алгоритмы сжатия, классификация, критерии сравнения. Компрессия без потерь, – RLE , Huffman, Lempel Ziv -- LZ, Lossless JPEG. Архивация с потерями. Алгоритм DCT. Стандарты JPEG, режимы и опции кодирования . Алгоритмы сжатия в форматах BMP,GIF, TIFF, PCX, TGA и PNG. Препроцессинг на основе вейвлет-преобразования изображений с последующей компрессией по методу нуль-дерева, фильтры и задача их оптимизации, алгоритм Малла, реализация алгоритмов вейвлетной компрессии, примеры – JPEG 2000, DjVU и др.

• Видеоданные – аналоговое и цифровое видео. Стереозрение, стерео-технологии мультимедиа. Способы удаленного доступа к контенту. Доминирующие клиент-серверные архитектуры. Сервис “видео по запросу”, протокол RTSP.

• Сжатие видеоданных. Цифровые форматы, схемы отсчетов. Методы компрессии и кодеки. Серия стандартов MPEG, адаптация для HDTV, стандарты сжатия видеоданных H-261, H-263. Вейвлетное преобразование видеопоследовательностей с последующим сжатием, применение в системах видео-наблюдения – Motion Wavelet, 3D Wavelet и др.

• Видеоконференцсвязь – классификация методов и архитектур. Стандарты ITU-T и IETF для потокового видео реального времени. Стек протоколов Н.323, протоколы RTP и RTCP. Протокол SIP. Алгоритмы коррекции ошибок и эхо-компенсации. Протокол SDP.