- •Министерство образования и науки рф
- •080801 Прикладная информатика (по областям применения)
- •Сочи, 2010 г.
- •1. Меры информации 20
- •2. Квантование сигналов 46
- •3.8. Помехоустойчивое кодирование 96
- •Введение Курс лекций
- •Определение понятия информация
- •Некоторые определения
- •Фазы обращения информации
- •1. Меры информации
- •1.1. Структурные меры количества информации
- •1.1.1. Геометрическая мера
- •1.1.2. Комбинаторная мера
- •1.1.3. Аддитивная мера (мера Хартли)
- •1.2. Статистические меры
- •1.2.1. Энтропия и ее свойства.
- •1.2.1.1. Энтропия и средняя энтропия простого события
- •Метод множителей Лагранжа
- •1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий
- •1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения
- •1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий
- •1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона
- •1.2.3. Литература
- •1.2.4. Избыточность сообщения
- •1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона
- •1.3. Семантические меры информации
- •1.3.1. Содержательность информации
- •1.3.2. Целесообразность информации
- •1.3.3. Динамическая энтропия
- •1.4. Общие замечания об измерении информации
- •1.5. Энтропия непрерывных сообщений
- •1.5.1. Экстремальные свойства энтропии непрерывных сообщений
- •1.5.1.1. Первый случай (значения сл. Величины ограничены интервалом)
- •1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. Величины)
- •1.5.1.3. Третий случай (сл. Величина принимает только положительные значения)
- •2. Квантование сигналов
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •2.3. Элементы обобщенной спектральной теории сигналов
- •2.4. Дискретизация по времени
- •2.4.1. Разложение в ряд Котельникова (Теорема Котельникова)
- •2.4.1.1. Свойства функции отсчетов
- •2.4.1.2. О практическом использовании теоремы Котельникова
- •2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
- •2.4.2.1. Интерполяция при помощи полиномов Лагранжа
- •2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
- •2.4.2.3. Схема дискретизации-передачи-восстановления сигнала
- •2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка
- •2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка
- •2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка
- •2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка
- •2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
- •2.5. Квантование по уровню
- •2.5.1. Оптимальное квантование по уровню
- •2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
- •2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования.
- •2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
- •2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
- •3. Кодирование информации
- •3.1. Общие понятия и определения. Цели кодирования
- •3.2. Элементы теории кодирования
- •3.3. Неравенство Крафта
- •3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
- •3.5. Основная теорема кодирования для канала связи без шума (теорема 3)
- •3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
- •3.7. Оптимальные неравномерные коды
- •3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
- •3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
- •3.7.3. Коды Хаффмена12
- •3.7.4. Коды Шеннона−Фэно
- •3.7.5. Параметры эффективности оптимальных кодов
- •3.7.6. Особенности эффективных кодов.
- •3.8. Помехоустойчивое кодирование
- •3.8.1. Классификация кодов
- •3.8.2. Простейшие модели цифровых каналов связи с помехами
- •3.8.3. Расчет вероятности искажения кодового слова в дсмк
- •3.8.4. Общие принципы использования избыточности
- •3.8.5. Граница Хэмминга
- •3.8.6. Избыточность помехоустойчивых кодов
- •3.8.7. Математическое введение к алгебраическим кодам
- •3.8.8. Линейные коды
- •3.8.9. Упрощённый способ построения линейного кода
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •3.8.10. Двоичные циклические коды
- •3.8.11. Некоторые свойства циклических кодов
- •3.8.12. Построение кода с заданной корректирующей способностью
- •3.8.13. Матричное описание циклических кодов
- •3.8.14. Выбор образующего полинома
- •4. Передача информации
- •4.1. Виды каналов передачи информации
- •4.2. Разделение каналов связи
- •4.2.1. Частотное разделение
- •4.2.2. Временное разделение
- •4.2.3. Кодовое разделение
- •4.2.4. Разделение по уровню
- •4.2.5. Корреляционное разделение
- •4.2.6. Комбинированные методы разделения
- •4.3. Пропускная способность каналов связи
- •4.4. Пропускная способность дискретного канала связи с шумом
- •4.4.1. Типичные последовательности и их свойства
- •4.4.2. Основная теорема Шеннона для дискретного канала с шумом
- •4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом
- •4.5. Пропускная способность непрерывного канала при наличии аддитивного шума
- •Литература
- •Приложение 1. Таблица неприводимых полиномов
- •Учебно-лабораторный практикум л абораторная работа 1: Исследование информативности источников дискретных сообщений.
- •Теоретическое введение
- •Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы.
- •Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке.
- •Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.
- •Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации
- •Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.
- •Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.
- •Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.Com) отчет на проверку преподавателю. Шаг 10. Защитите лабораторную работу у преподавателя. Варианты задания
- •Результаты работы
- •Сдача работы
- •Вопросы для самопроверки
- •Литература
- •Приложение 1: Пример оформления титульного листа
- •Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel Введение
- •Подключение возможности использования нестандартных функций.
- •Создание нестандартной функции
- •Приложение 3: Описание функции впр
- •Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени
- •Теоретическое введение.
- •Последовательность выполнения практической части работы
- •1. Знакомство с программой Wavosaur для записи и обработки звука.
- •2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой.
- •3. Запись голоса и подготовка сигнала.
- •4. Импорт текстовых данных в Excel
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Иллюстрация к порядку вычисления ряда Найквиста-Котельникова
- •Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню.
- •Теоретическое введение.
- •Возможный вариант выполнения работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена.
- •Теоретическое введение.
- •Коды Хаффмена
- •Коды Шеннона−Фэно
- •Параметры эффективности оптимальных кодов
- •Особенности эффективных кодов.
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки.
- •Теоретическое введение.
- •Определение числа добавочных разрядов m.
- •Построение образующей матрицы
- •Порядок кодирования
- •4. Порядок декодирования
- •Выполнение работы
- •Результаты работы
- •Литература
- •Вопросы для самопроверки
- •12 Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики.
Подключение возможности использования нестандартных функций.
Программное управление приложениями, входящими в состав Microsoft Office, осуществляется при помощи так называемых макросов.
Слово Макрос – греческого происхождения. В переводе с греческого оно означает большой, длинный. В Кратком оксфордском словаре английского языка сказано, что от него происходит префикс macro. В литературе по программированию macro обычно употребляется как синоним слова макрокоманда, т.е. команда, составленная из некоторого количества более мелких команд. Макрокоманды появились в пятидесятых годах прошлого века как средство, расширения возможностей языка ассемблера и упрощения программирования на этом языке. В настоящее время они применяются в различных языках и системах программирования, в том числе для автоматизации обработки информации при помощи табличного процессора Excel. Макросы являются полезным и универсальным средством широкого назначения, упрощающим программирование.
Однако у всякой пользы есть своя теневая сторона. Возможностью применения макросов для управления приложениями, входящими в состав пакета Microsoft Office, стали пользоваться компьютерные маргиналы. С помощью макросов они стали создавать вредоносные программы, называемые компьютерными вирусами. Пытаясь защитить пользователей компьютеров от их нашествия, фирма Microsoft, разработчик пакета Microsoft Office, последние версии этого пакета стала поставлять с отключенной возможность пользоваться макросами. Поэтому первое, что нужно сделать решившему воспользоваться макросами – включить возможность использования макросов в Excel.
Для этого нужно выбрать пункты меню Сервис -> Параметры (рис. 15).
Рис. 15. Пункт меню Параметры.
В результате на экран будет выведено диалоговое окно, изображенное ниже.
Рис. 15. Окно Параметры.
Для изменения настройки работы с макросами следует нажать кнопку Безопасность макросов (обведена красной рамкой).
В результате на экран выводится еще одно окно – Безопасность (рис. 16).
Рис. 16. Окно Безопасность.
Для обеспечения работы с макросами в нем нужно выбрать опцию Средняя.
После этого при помощи кнопок ОК оба окна закрываются. Теперь Excel готов работать с макросами и, в том числе, с нестандартными функциями, создаваемыми пользователем.
Создание нестандартной функции
Перед созданием нестандартных функций нужно открыть файл в рабочей книгой, содержащей информацию, которую нужно обработать с применением этих нестандартных функций. Если ранее эта рабочая книга была сохранена с макросами, то на экран будет выведено окно, изображенное на рис. 17.
Рис. 17. Окно управления подключением макросов.
Для того, чтобы иметь возможность и дальше пользоваться ранее созданными нестандартными функциями – макросами, необходимо нажать кнопку Не отключать макросы.
Новая функция создается по правилам Visual Basic с использованием средств Visual Basic. Тем, кто уже программировал на этом языке, все покажется знакомым.
Для вызова редактора следует выбрать следующие пункты меню: Сервис–>Макрос–> Редактор Visual Basic (см. рис. справа). Быстрый вызов возможен при помощи клавишной комбинации Alt+F11.
Рис. 18. Выбор пункта меню Редактор Visual Basic.
Результатом вызова редактора Visual Basic будет вывод на экран следующего изображения:
Рис. 19. Окно редактора Visual Basic.
Нестандартная функция оформляется как новая процедура-функция, доступная со всех листов рабочей книги. В данном примере рабочая книга имеет имя Текст на арабском языке (это имя файла, в котором она хранится). В ней пока 2 листа – Лист1 с именем Лист1 и Лист2 с именем Арабский_текст.
Для создания таких процедур можно использовать так называемые стандартные модули. Стандартные модули создаются путем выбора пунктов меню Insert->Module (рис. 20).
Рис. 20. Выбор пункта меню Module.
В результате на экран выводится окно редактора кода, изображенное на рис. 21.
Рис. 21. Окно редактора Visual Basic.
Вписать в него код новой процедуры-функции удобнее всего при помощи шаблона. Для его получения следует выбрать пункты меню Insert->Procedure (рис. 22).
Рис. 22. Выбор пункта меню Procedure.
В результате на экран будет выведено окно Add procedure, предназначенное уточнения параметров процедуры – ее имени и типа (рис. 23).
Рис. 23. Окно Add Procedure.
В данном примере создается процедура-функция с именем UC_CD, предназначенная для преобразования символа, закодированнного в стандарте Unicode в его кодовое обозначение.
После нажания кнопки ОК это окно исчезает, а в окне редактора кода появляется заготовка кода функции:
Public Function UC_CD()
……………………….
End Function
Для решения нашей задачи – получения кода символа – нам нужна функция с одним аргументом. Формальное16 имя этого аргумента указывается в скобках в конце заголовка функции.
Пусть аргумент будет иметь имя Х.
Текст процедуры вычисления функции должен помещаться между заголовком Public Function UC_CD(Х) и оператором окончания End Function. В этом тексте обязательно должен быть оператор присвоения имени функции, в данном случае UC_CD определенного значения – результата вычисления функции.
Особенностью встроенного в Excel варианта языка Visual Basic является то, что используемый в нем набор стандартных функций значительно отличается от стандартных функций самого Excel.
Набор стандартных функций Visual Basic, например, содержит функции AscW(х) и ChrW(x), позволяющие получать числовой код символа, закодированного в стандарте Unicode и обратно, по числовому коду в стандарте Unicode воспроизвести соответствующий этому коду символ.
Кроме того, набор стандартных функций Visual Basic содержит такие полезные функции, как Cint(x) и Hex(x), которые можно использовать для преобразования чисел из шестнадцатеричной системы считсления в десятичную и наоборот. В первом случае аргумент функции Cint записвается с приписанными впереди символами &h.
Например: Cint(&h2A) возвратит значение 42
На рисунке 24 изображено окно редактора кода с текстами процедур-функций, которые позволяют преобразовывать символы в код стандарта Unicode и обратно, а также шестнадцатеричные числа в десятичные и обратно.
Рис. 24. Окно редактора кода с текстами нестандартных функций.
Эти новые нестандартные функции теперь можно использовать наряду со стандартными в формулах, вводимых в клетки Excel-таблицы.
Функции преобразования из шестнадцатричной системы счисления в десятичную и наоборот (Con16_10 и Con10_16) можно не создавать, если для преобразования использовть встроенныый в ОС Windows калькулятор. Он вызывается из меню (Пуск -> Все программы -> Стандартные-Калькулятор) или, если меню изменено, как программа Calc (Пуск -> Выполнить…).
Окно редактора Visual Basic можно закрыть. Введенные коды в дальнейшем будут сохраняться вместе с Excel-таблицей.
