Дискретный канал без помех

В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на выходе канала, иными словами, входные и выходные сигналы связаны однозначной функциональной зависимостью.

По Шеннону пропускная способность

Информация будет максимальна, если все сообщения равновероятны

Здесь v_x – максимальное число элементарных посылок (сигналов), передаваемых в единицу времени.

B= n/T =1/

v_x = max{B_i}

Такую единицу принято называть бод. Таким образом, чем меньше длительность посылки , тем больше С.

Любая линия связи имеет строго ограниченную пропускную способность. Как добиться максимальной пропускной способности? Из формулы ясно, что необходимо добиваться увеличения B и m.

Нельзя мгновенно изменить значение передаваемого сигнала, на это всегда требуется определенное время. В линии связи минимальное время, требующееся для ощутимого изменения сигнала, строго регулируется техническими характеристиками самой линии связи. Иначе говоря, B является некоторой технической характеристикой линии, которую нельзя изменить, не внося изменений в саму линию связи.

Есть свои ограничения, накладываемые и на m – объем сигнального алфавита :

• ограничения по мощности

• разрешающая способность аппаратуры

• помехи (внутренние тепловые шумы, внешние помехи для канала с помехами)

В теории информации доказана теорема.

Если канал связи обладает пропускной способностью С (бит/с), а энтропия источника равна H(z) (бит/сообщение), то

1. сообщение, вырабатываемое источником, всегда можно закодировать так, чтобы скорость v_z их передачи была сколь угодно близка к величине

v_zm=C / H(Z) [символ/сек]

2. не существует метода кодирования, позволяющего сделать эту скорость большей, чем v_z.

Пример.

Пусть v_x=100 имп /c

max{I(x,y)}= 2 бит/имп

Найти v_z .

Если ко входу канала подключен источник сообщения с энтропией на символ, равной емкости канала С, то считается, что источник согласован с каналом. Если H(z)<C (это может быть в случае неравновероятности состояний источника), то источник будет не согласован с каналом. Согласование осуществляется с помощью, так называемого статистического кодирования.

Если v_zm – максимально возможная скорость передачи информации в канале связи с данными характеристиками, то какова реальная скорость? Очевидно, что

Почему реальная скорость ниже v_zm?

Для того чтобы v_z→ v_zm необходимо выровнять вероятности

P₁= P₂=… P_m

Тогда можно будет записать

Выравнивание вероятностей достигается применением специальных методов кодирования.

Выразим энтропию сигнала H(x) через энтропию сообщения H(z). Как вычислить H(x), зная только H(z)?

Пусть мы кодируем каждую букву алфавита z_i l_i-символами алфавита X так, чтобы соблюдалось условие равенства вероятностей:

Z_i ⇨ (x_i1 x_i2 … x_il), где l_i – длина кода.

Тогда энтропия этого слова будет равна энтропии источника информации, или другими словами количество информации в букве сообщения равно количеству информации в закодированном слове сообщения. Если буква сообщения z_i несет информацию –log P(z_i), естественно что и кодовое слово длиной l_i несет то же количество информации, то есть

I(z_i) = I(i-е кодовое слово)

Усредняя по всем буквам алфавита, получим

Откуда следует

Учитывая, что

можно записать

Если m = 2, то имеем

l_min = H(z)

Таким образом, для увеличения энтропии сигнала H(z) необходимо научиться правильно подбирать длину l. Ясно, что эта длина будет переменной для разных букв алфавита Z.

В теории информации доказана теорема:

Если источник информации имеет энтропию H(z), то сообщение всегда можно закодировать так, чтобы средняя длина кода l_ср = была сколь угодно близка к величине H(z)/logm.

Способы разработки таких кодов рассматриваются в теории статистического кодирования.