4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом

Теорема Шеннона для канала с шумом не указывает на конкретный способ кодирования, обеспечивающий достоверную передачу информации со скоростью, сколь угодно близкой с пропускной способности канала связи. Она лишь доказывает принципиальную возможность существования такого кода. Однако из нее следует важный практический вывод: увеличения достоверности передачи информации возможно только при увеличении длины кодируемых информационных последовательностей и, следовательно, увеличении длины кодовых слов.

Кроме того, анализируя выведенную выше формулу вероятности ошибки

,

приходим к выводу: чем выше запас по пропускной способности C_k-V_иH(A) имеет канал связи, тем вероятность ошибки ниже.

Таким образом, существует возможность размена эффективности использования канала на достоверность передачи информации, что иногда и делается на практике.

Теорема Шеннона имеет огромное значение для становления правильных воззрений на принципиальные возможности передачи информации. До Шеннона считалось, что сколь угодно малую вероятность ошибки можно получить лишь при стремлении скорости передачи информации к нулю.

Шеннон же своей теоремой показал, что путем введения в передаваемое сообщение избыточности, превышающей потерю информации в канале равную H(B/B’), в принципе можно добиться достоверной передачи информации через этот канал.

Действительно, энтропия H(B) входного закодированного сообщения, согласно теореме Шеннона, должна быть:

.

Отсюда следует, что избыточность сообщения В на входе канала связи (закодированного, но еще не искаженного помехами) равна:

D_абс = H_max – H(B) = log₂m – log₂m + H(B/B’) = H(B/B’) .

Для наглядного пояснения роли теоремы Шеннона прибегнем к следующему сравнению. Пусть имеется трубопровод (аналог канала связи) для доставки некоторого жидкого продукта (аналог передаваемой информации), поступающего от источника этого продукта. Важнейшей характеристикой подобного трубопровода является его пропускная способность, т.е. максимальное количество жидкости, которое может перекачиваться через него в единицу времени. Еще одной важной характеристикой трубопровода являются потери перекачиваемого продукта из-за утечек (аналог искажения информации вследствие действия шума).

Можно теперь представить, какой эффект произвело бы утверждение, что существует такой способ введения примеси (избыточности) в продукт до его перекачки через трубопровод с утечкой и удаления этой примеси из перекачанного через трубопровод продукта, в результате чего после перекачки весь полезный продукт сохраняется, а в процессе перекачки из-за утечки теряется только примесь.

Именно такой смысл имеет вышеизложенная теорема применительно к задаче передачи информации через канал с шумом.

4.5. Пропускная способность непрерывного канала при наличии аддитивного шума

Рассмотрим следующую модель канала:

1. Канал способен пропускать колебания с частотами ниже F_m.

2. В канале действует помеха n(t), имеющая нормальный (гаусcовский) закон распределения с нулевым средним значением.

3. Помеха n(t) статистически не связана с полезным сигналом x(t).

4. Помеха аддитивна, т.е. сигнал y(t) на выходе канала описывается формулой y(t) = x(t) + n(t), где x(t) – сигнал на входе канала.

5. Мощность P_x полезного сигнала x(t) ограничена.

Ограниченность полосы пропускания канала приводит к ограниченности спектра выходного сигнала y(t). Поэтому согласно теореме Котельникова без потери информации сигналы x(t), y(t) и n(t) можно представить в виде ряда независимых отсчетов, взятых с шагом .

Как было доказано ранее количество информации I, приходящейся на один отсчет, равно: I = H(x) - H(x/y) = H(y) – H(y/x) .

Ранее нами было показано, что энтропия H(y) непрерывной случайной величины y находится по формуле:

.

Найдем H(y/x). Перейдем к дискретному представлению x и y с шагом и .

Найдем теперь дифференциальный закон f(y/x). Если x фиксирован, а y(t)=x(t)+n(t), то

f(y/x)=f(n-x).

График этой функции изображен на рис. 4.7.

Рис. 4.7. График функции f(y/x).

Поскольку Х фиксирован .

Произведем подстановки:

Подставив этот результат в формулу количества информации, получим:

.

Скорость передачи информации:

, где V_к=2F_m (по теореме Котельникова).

Для нахождения пропускной способности непрерывного канала связи с шумом следует максимизировать скорость передачи информации , варьируя параметрами передаваемого сигнала Х.

V_к – величина постоянная, связанная с параметром F_m канала.

I зависит от H(y).

Поcкольку x и n взаимно независимы, D_y = D_x + D_n, m_y = m_x + m_n = m_x, так как m_n = 0.

Ранее была выведена зависимость , из которой следует, что пропорциональна D_y.

Отсюда следует, что максимальна, когда максимальна дисперсия D_y.

Но, поскольку D_y = D_x + D_n, D_y – максимальна, когда максимальна D_х.

Согласно условию, мощность Р_х передаваемого сигнала Х ограничена сверху.

А, поскольку Р_х = D_x + m_x², максимальное значение дисперсии D_x достигается при нулевом математическом ожидании m_x=0. В это случае Р_x=D_x.

Значит P_y = D_y + m_y² = D_y, так как m_y = m_x + m_n, а m_x и m_n = 0.

Ранее было доказано, что при ограничении мощности сигнала сверху его энтропия принимает максимальное значение, если он распределен по нормальному закону. Значит y должен иметь нормальный закон распределения.

А какой в этом случае закон распределения должен иметь входной сигнал х?

Поскольку y = x + n, а y и n имеют нормальные законы распределения, x и n не зависимы, согласно теории вероятностей x тоже должен иметь нормальный закон распределения.

Следовательно:

Отсюда:

.

Поскольку m_x и m_n=0, D_x=P_x, D_n=P_n,

.

Отношение P_x/P_n мощностей сигнала и шума называется отношением сигнал-шум.

В результате пропускную способность непрерывного канала связи с шумом можно записать в виде: (4.6)

Таким образом, пропускная способность этого канала определяется максимальной частотой F_m пропускаемых через канал частот и отношением сигнал-шум. Пропускная способность этого типа канала тем выше, чем выше F_m и отношение сигнал-шум.

Формула (4.6) описывает наихудший в смысле величины пропускной способности случай. Если шум имеет негауссовский закон распределения или имеет коррелированные (зависимые) отсчеты, то пропускная способность канала возрастает.