2. Квантование сигналов 46

2.1. Виды дискретизации (квантования) 47

2.2. Критерии точности представления квантованного сигнала 48

2.3. Элементы обобщенной спектральной теории сигналов 50

2.4. Дискретизация по времени 52

2.4.1. Разложение в ряд Котельникова (Теорема Котельникова) 52

2.4.1.1. Свойства функции отсчетов 54

2.4.1.2. О практическом использовании теоремы Котельникова 55

2.4.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения 56

2.4.2.1. Интерполяция при помощи полиномов Лагранжа 57

2.4.2.2. Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа 58

2.4.2.3. Схема дискретизации-передачи-восстановления сигнала 60

2.4.2.4. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа нулевого порядка 61

2.4.2.5. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа первого порядка 62

2.4.2.6. Расчет периода дискретизации при использовании для получения воспроизводящей функции полинома Лагранжа второго порядка 63

2.4.2.7. Обобщение на случай использования полиномов Лагранжа произвольного порядка 63

2.4.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения 64

2.5. Квантование по уровню 65

2.5.1. Оптимальное квантование по уровню 65

2.5.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню 69

2.5.3. Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования. 69

2.5.4. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования 72

2.5.5. Закон компандирования при условии равномерного закона распределения квантуемого сигнала 73

3. Кодирование информации 74

3.1. Общие понятия и определения. Цели кодирования 74

3.2. Элементы теории кодирования 76

3.3. Неравенство Крафта 79

3.4. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды 80

3.5. Основная теорема кодирования для канала связи без шума (теорема 3) 81

3.6. Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4) 83

3.7. Оптимальные неравномерные коды 83

3.7.1. Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв 84

3.7.2. Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален 87

3.7.3. Коды Хаффмена 88

Дэвид Хаффман (р. 9 августа 1925, Альянс, Огайо — 7 октября 1999, Санта Круз, Калифорния) — первопроходец в сфере информатики. 88

3.7.4. Коды Шеннона−Фэно 90

Роберт Марио Фано, родился в 1917 году в Италии в Турине. Он поступил в туринский колледж School of Engineering, но в 1939 году эмигрировал в США. Здесь он продолжил обучение в Массачусетском технологическом институте (МИТ), получив степень бакалавра в 1941 году. После этого он проработал шесть лет в лаборатории Radiation Laborator МИТ, а в 1947 году защитил диссертацию на звание доктора. В период с 1950 по 1953 год он возглавлял группу изучения радиолокационных технологий в Лаборатории им. Линкольна, но в основном его работа была связана с МИТ. В начале 60-х он занимался разработкой компьютеров, работающих по принципу разделения времени. В 1963 году он возглавил проект MAC и оставался на этой должности до 1968 года. Интересы Фано не ограничивались информационными системами. Он опубликовал ряд статей по микроволновым системам, электромагнетизму, теории сетей, а также по вопросам обучения специалистов технологической сферы. Фано является действительным членом Американской академии искусств и науки и института Institute of Electrical and Electronics Engineers. В 1976 году Фано получил премию Клода Шеннона за вклад в развитие теории информации. 90

3.7.5. Параметры эффективности оптимальных кодов 94

3.7.6. Особенности эффективных кодов. 95