- •Основы теории цифровой связи Часть 1 кодирование информации
- •1. Введение
- •1.1. Модель радиотехнической системы связи
- •Контрольные вопросы
- •1.2. Статистическая трактовка процесса передачи информации
- •Контрольные вопросы
- •1.3. Основные понятия и элементы математического аппарата теории связи
- •1.3.1. Сигналы и помехи
- •1.3.2. Разложение сигнала по системе ортогональных функций. Спектр сигнала
- •1.3.3. Cвойства преобразования Фурье
- •1.3.4. Корреляционная функция сигнала
- •1.3.5. Связь между корреляционной функцией и спектром сигнала
- •1.3.6. Случайные сигналы и их характеристики
- •Контрольные вопросы
- •1.4. Источники информации
- •1.5. Теорема дискретизации
- •1.6. Дискретизация изображений
- •Контрольные вопросы
- •1.7. Квантование. Ошибки квантования
- •Контрольные вопросы
- •1.8. Количество информации, содержащейся в сообщении
- •1.8.1. Энтропия сложных сообщений, избыточность источника
- •Контрольные вопросы и задачи
- •2. Основы экономного кодирования информации
- •2.1. Способы представления кодов
- •Контрольные вопросы и задачи
- •2.2. Типы систем сжатия
- •X Квантователь Xq Кодер без потерь информации b (Xq) Декодер X*
- •Методы кодирования без потерь
- •2.3.1. Понятие префиксного множества
- •2.3.2. Алгоритм кодирования Хаффмена
- •2.3.3. Алгоритм Шеннона–Фано
- •2.3.4. Блочные коды
- •2.3.5. Арифметическое кодирование
- •2.3.6. Словарное кодирование. Метод Зива–Лемпеля
- •2.3.7. Кодирование длин повторений (rle)
- •2.3.8. Дифференциальное кодирование
- •Контрольные вопросы и задачи
- •2.4. Методы сжатия с потерей информации
- •2.4.1. Функции “скорость–искажение” и “искажение–скорость”
- •2.5. Сжатие речевых сигналов
- •2.5.1. Кодирование формы сигнала, икм
- •2.5.2. Дифференциальная икм
- •2.5.3. Адаптивная дифференциальная икм (адикм)
- •2.5.4. Дельта-модуляция
- •2.5.5. Другие методы кодирования формы сигнала
- •2.5.6. Кодирование источника
- •2.5.7. Гибридные методы кодирования речи
- •2.5.8. Полноскоростной кодер rpe-ltp (стандарт gsm 06.10)
- •2.5.9. Кодер vselp (стандарт d-amps)
- •Контрольные вопросы и задачи
- •2.6. Кодирование изображений. Стандарт сжатия jpeg
- •Процедуру дкп можно записать в матричной форме:
- •2.6.1. Рекурсивный (вэйвлет) алгоритм
- •2.7. Сжатие подвижных изображений (видео)
- •3. Основы помехоустойчивого кодирования
- •3.1. Основные принципы. Типы кодов
- •3.2. Линейные блочные коды
- •3.2.1. Код с проверкой на четность
- •3.2.2. Итеративный код
- •3.2.3. Порождающая матрица линейного блочного кода
- •3.2.4. Проверочная матрица
- •3.2.5. Дуальные коды
- •3.2.6. Синдром и обнаружение ошибок
- •3.2.7. Синдромное декодирование линейных блочных кодов
- •3.2.8. Мажоритарное декодирование линейных блочных кодов
- •3.2.9. Декодирование методом максимального правдоподобия
- •Поскольку
- •Если принятый сигнал дискретизован и Si – I-й отсчет принятого сигнала.
- •3.2.10. Вес и расстояние Хемминга. Способность кодов обнаруживать и исправлять ошибки
- •Контрольные вопросы и задачи
- •3.3. Полиномиальные коды
- •3.3.1. Циклические коды
- •3.3.2. Кодирование с использованием циклических кодов
- •3.3.3. Вычисление синдрома и исправление ошибок в циклических кодах
- •3.3.4. Неалгебраические методы декодирования циклических кодов
- •3.4. Сверточные коды
- •3.4.1. Кодирование с использованием сверточных кодов
- •3.4.2. Синдромное декодирование сверточных кодов
- •3.4.3. Кодовое дерево и решетчатая диаграмма
- •3.4.4. Декодирование сверточных кодов. Алгоритм Витерби
- •3.4.5. Алгоритмы поиска по решетке
- •Контрольные вопросы и задачи
- •3.5. Применение корректирующего кодирования в системах связи
- •3.5.1. Каскадные коды
- •3.5.2. Кодирование с перемежением
- •Библиографический список
- •Часть 1 1
1.3.6. Случайные сигналы и их характеристики
В отличие от детерминированных сигналов, значения которых в любой момент точно определены их параметрами, случайные сигналы представляют собой функции времени, мгновенные значения которых могут быть предсказаны лишь с некоторой долей вероятности.
В радиотехнике и теории связи имеют дело с двумя классами случайных сигналов. Во-первых, это помехи, или шумы, любые случайные воздействия на сигнал, которые ухудшают верность воспроизведения передаваемых сообщений, то есть ухудшает качество связи. По своей физической природе помехи могут быть весьма разнообразны, общим же для них является то, что они носят случайный характер и их значения не могут быть предсказаны.
Во-вторых, случайными являются все сигналы, несущие информацию, – речь, музыка, видео- и телеизображения, символы передаваемых текстов и т.д. Для их описания также должны использоваться статистические модели и характеристики.
Случайный процесс
Математическая модель изменяющегося во времени случайного сигнала называется случайным процессом. Случайный процесс X(t) – это функция, которая случайным образом может принимать различный вид и значения которой в любой момент времени t являются случайными величинами. До регистрации случайный процесс X(t) рассматривается как совокупность (ансамбль) функций xi(t), подчиняющихся общим для них статистическим закономерностям. Одна из этих случайных функций, реализовавшаяся в ходе приема, называется реализацией случайного процесса.
Вероятностные характеристики случайных процессов
Пусть X(t) – случайный процесс, заданный ансамблем своих возможных реализаций {x1(t), x2(t), …, xk(t),…} (рис. 1.10).
Рис. 1.10
Выбрав произвольный момент времени t1, зафиксируем значения реализаций случайного процесса в этот момент времени {x1(t1), x2(t1), …, xk(t1),…}. Совокупность этих значений дает одномерное сечение случайного процесса и представляет собой векторную случайную величину X(t1), которая описывается следующими основными статистическими характеристиками:
Функция распределения вероятностей. Обозначается как F(x,t1) и представляет собой вероятность того, что в момент t1 значения случайного процесса X не превышают величины x:
F(x)= P(X(t1) ≤ x). (1.34)
Функция распределения вероятностей – величина положительная, не- убывающая и принимающая значения 0 ≤ F(x) ≤ 1. На границах интервала функция F(x) принимает такие значения: F(- ∞) = 0, F(∞) = 1. Вероятность попадания случайного процесса в некоторый интервал (a,b) равна разности значений функции распределения на концах этого интервала:
P(a <X(t1) ≤ b) = F(b) – F(a). (1.35)
Одномерная плотность вероятности. Обозначается как p(x,t1) и представляет собой вероятность попадания значений случайной величины X(t1) в интервал dx в окрестности x:
p(x,t1)dx = P{ x ≤ X(t1) < x + dx}. (1.36)
Плотность вероятности может быть определена как производная от функции распределения вероятностей: p(x) = dF(x)/dx. Поэтому иногда эту пару функций называют интегральной и дифференциальной функциями распределения вероятностей.
Плотность вероятности p(x) – неотрицательная функция (как производная от неубывающей функции F(x)). Вероятность попадания случайного процесса в некоторый интервал (a,b) определяется как
b
P(a <X(t1) ≤ b) = ∫ p(x,t1)dx. (1.37)
a
Поскольку случайная величина X(t1) должна принять какое-либо значение, то есть вероятность ее попадания в интервал от –∞ до ∞ равна единице, функция плотности вероятности должна удовлетворять следующему условию (условию нормировки):
∞
∫ p(x,t1)dx = P(– ∞<X(t1)< ∞ ) = 1. (1.38)
∞
Двумерная и многомерная плотности вероятности. Одномерная плотность вероятности p(x,t1 ) характеризует случайный процесс лишь в одном сечении t1 и никак не характеризует его поведение во времени. Гораздо больше о характере временного поведения случайного процесса можно узнать, располагая двумя его сечениями в произвольные моменты времени t1 и t2, позволяющими найти двумерную плотность вероятности случайного процесса p(x1,x2, t1, t2). Последняя представляет собой вероятность одновременного попадания значений случайной величины X(t1) в интервал dx в окрестности x1 и случайной величины X(t2) в такой же интервал в окрестности x2:
p(x1,x2, t1, t2)dx1 dx2 = P{ x1 ≤ X(t1) < x1 + dx, x2 ≤ X(t1) < x2 + dx }. (1.39)
Естественным обобщением является n-мерное сечение случайного процесса, приводящее к n-мерной плотности вероятности p(x1, x2,…, xn,t1 ,t2 …, tn). При n → ∞ такая функция является исчерпывающей статистической характеристикой случайного процесса. Никакая другая характеристика случайного процесса не может дать о нем больше сведений, нежели n-мерная плотность вероятностей.
К сожалению, работа с многомерными плотностями вероятностей на практике связана с серьезными вычислительными сложностями, однако существует ряд случайных процессов, для которых многомерную плотность вероятностей можно выразить через одномерные и двумерные плотности вероятностей – так называемые нормальный (гауссов) и марковский процессы. Поэтому везде, где это возможно, стараются пользоваться именно этими моделями случайных процессов.
Числовые характеристики случайных процессов
Наряду с функциональными характеристика случайных процессов, какими являются функция распределения вероятностей и плотность вероятностей, для их описания часто используют простейшие числовые характеристики. К ним относятся математическое ожидание случайного процесса mx(t) и его дисперсия Dx(t). В дальнейшем будем полагать, что процесс обладает свойством стационарности.
Математическое ожидание. Является оценкой среднего значения случайного процесса X(t):
∞
mx = M{X(t)} = < X(t)> = ∫ x p(x) dx . (1.40)
∞
Дисперсия. Характеризует среднюю мощность отклонения случайного процесса от его математического ожидания (флуктуационную мощность):
∞
Dx = M{ [X(t) mx]2 }=<[X(t) mx ]2 > = ∫(xmx)2 p(x) dx. (1.41)
∞
Среднеквадратическое уклонение. Представляет собой корень квадратный из дисперсии и является мерой амплитудных флуктуаций случайного процесса относительно его среднего:
σx = ( Dx)1/2 = (M{[ X(t) mx ]2})1/2. (1.42)
Понятие стационарности и эргодичности
В общем случае вероятностные характеристики случайных процессов зависят от одного или нескольких моментов времени t, t1, t2, …, tn, в которые эти характеристики определяются. Однако существует класс случайных процессов, для которых зависимость статистических характеристик от времени отсутствует. Это так называемые стационарные случайные процессы.
Для стационарных процессов их числовые характеристики – математическое ожидание и дисперсия, а также плотность вероятностей, функция распределения вероятностей и корреляционная функция не зависят от времени:
p(x,t1) = p(x,t2) = …= p(x,tn) = p(x); mx(t) = mx ; Dx(t) = Dx. (1.43)
Это довольно часто соблюдаемое на практике качество случайных процессов позволяет значительно упростить их описание и анализ.
Дальнейшее упрощение анализа случайных процессов достигается при использовании условия эргодичности.
Стационарный случайный процесс называется эргодическим, если при определении любых его статистических характеристик усреднение по множеству (ансамблю) реализаций можно заменить усреднением по времени одной достаточно длинной реализации, например:
∞ Т
mx = < X(t)> = ∫ x p(x) dx = lim 1/T ∫ x(t)) dt; (1.44)
∞ T→ ∞ 0
∞ Т
Dx = <[ X(t) – mx ]2 > = ∫ (x – mx)2 p(x) dx = lim 1/T ∫ [x(t) – mx]2dt (1.45)
∞ T→ ∞ 0
Свойство эргодичности случайных процессов важно по той причине, что на практике обычно наблюдению доступна всего одна реализация (может быть достаточно длинная), а не их ансамбль. Если процесс является эргодическим, то эта реализация является “типичным представителем” ансамбля и обладает всеми его свойствами.
Рассмотрим в качестве примера несколько типичных распределений случайных величин и определим их характеристики.
Равномерное распределение
Одним из часто используемых на практике законов распределений случайных величин является равномерное распределение. В частности, равномерный закон распределения имеют ошибки (шумы) квантования, возникающие при аналого-цифровом преобразовании сигналов. Случайный процесс с равномерным распределением может принимать только значения из определенного интервала [a,b], причем все значения процесса в этом интервале равновероятны.
Выражение для плотности вероятности p(x) случайного процесса с равномерным распределением имеет вид
p(x) = 1/(b a) при a ≤ x ≤ b,
p(x) = 0 при x < a и x > b. (1.46)
Функция распределения вероятностей F(x) случайного процесса с равномерным распределением записывается следующим образом:
F(x) = 0 при x < a;
F(x) = (x a)/(b a) при a ≤ x ≤ b; (1.47) F(x) = 1 при x > b.
Вид плотности вероятности и закона распределения вероятностей для равномерного распределения показан на рис. 1.11.
Рис. 1.11
Нормальное распределение
Нормальный, или гауссов, закон распределения вероятностей случайных процессов очень часто встречается на практике и чрезвычайно удобен для анализа. Широкое распространение нормального закона в природе объясняется тем, что при суммировании достаточно большого числа случайных величин с произвольными законами распределения получается случайная величина с нормальным законом распределения. Это положение носит название центральной предельной теоремы. Поскольку практически все естественные случайные явления в природе обусловлены воздействием большого числа независимых факторов, то они, как правило, распределены по нормальному закону.
Плотность вероятности случайной величины, распределенной по нормальному закону, определяется выражением
p(x) = 1/ σx(2π)1/2 exp [ – (x – mx)2/2 σx2], (1.48)
где mx и σx2 – соответственно математическое ожидание и дисперсия случайного процесса.
Вид плотности вероятности и функции распределения вероятностей для случайного процесса с нормальным распределением показан на рис. 1.12.
Рис. 1.12
