Пропускная способность дискретного канала связи

Для общего описания канала связи и построения теории информации используется одна и та же модель. Канал назы­вается д и с к р е т н ы м (непрерывным), если множества Х и Y дискретны (непрерывны), и п о л у н е п р е р ы в н ы м , если одно из множеств дискретно, а другое непрерывно. Ниже рассматриваются только дискретные каналы.

Канал полностью описывается условными вероятностями того, что k-ì принятым символом будет

j_k-й символ множества Y (j_k=1,m_y).

Указанную вероятность можно рассматривать как функ­цию , вид которой отражает состояние канала, в частности, характер взаимодействия помехи и сиг­нала. Если

то соответствующий канал называется каналом без памяти. Если вероятность не зависит от k (от времени), то соответствующий канал называется стацио­нарным. Ограничимся рассмотрением только стационар­ных каналов без памяти. Определим скорость передачи информации как предел:

где - средняя взаимная информация между пере­данным и принятым. В случае отсутствия помехH(X/Y)=0, следовательно, R =H(X). Этот предел в случае канала без памяти равен взаимной информации:

R=I(X,Y)=H(X) -H(X|Y)=H(Y) -H(Y|X) .

Скорость передачи информации R полностью определяется

вероятностями . Поэтому изменять величину R мы можем только за счет изменения вида распре­деления , поскольку — характеристика неуп­равляемого канала. Определим пропускную способность кана­ла С как максимальную по скорость передачи инфор­мации:

.

В случае отсутствия помех

.

Вычисление пропускной способности симметричных каналов

Существует класс каналов, для которых пропускная спо­собность С легко вычисляется. Канал полностью описывается так называемой стохастической матрицей

в которой сумма всех элементов, образующих строку, рвана единице.

Канал называется с и м м е т р и ч н ы м п о в х о д у , если строки матрицы различаются только порядком расстановки некоторого множества чисел

Для симметричных по входу каналов частная условная энтропия

Она не зависит от номера передаваемой буквы и может быть вычислена по любой строке матрицы. Поэтому условная энтропия

Канал называется с и м м е т р и ч н ы м п о в ы х о д у, если столбцы матрицы различаются только порядком расста­новки некоторого множества чисел .

Если распределение источника равномерное

то распределение на выходе симметричного по выходу канала также будет равномерным. При этом энтропииН(Х) и H(Y) достигают своего максимального значения. В этом легко убедиться, если доказать, что вероятность не за­висит оту_j. Представим вероятность в виде

Поскольку

Сумма не зависит от номера столбцаj и в общем

случае не равна единице. Поэтому вероятность также

не зависит от j и равна . При этом

Канал называется симметричным, если он симметричен по входу и выходу. Для симметричного канала H(Y|X) не зависит от распределения источника сообщений, поэтому пропускная способность

В качестве примера вычислим пропускную способность симметричного канала, который описывается матрицей

где m=m_X =m_Y . В этом случае

C 1

0,8

0,6

0,4

0,2

0 0,2 0,4 0,6 0,8 1 P_e

Рис. 3. Зависимость пропускной

способности ДСК от вероятности ошибки p_e

Вероятность 1-p_e равна вероятности правильного приема символа. Вероятность ошибки p_e равна вероятности приема y_j c при условии, что было передано x_i . Тогда

.

Широкое распространение получил двоичный симметрич-ный канал (ДСК) (m=2) , для которого пропускная способность (Рис. 3)

Максимальная скорость передачи информации, равная единице, получается при р_е=0 и при р_е=1. В этом случае множества Х и Y находятся во взаимно однозначном соответ­ствии, и по принятому у_j (j=1, 2) всегда можно определить с вероятностью, равной единице, переданную букву. К сожа­лению, это возможно только тогда, когда априори (до при­ема) известно значение вероятности р_е (нуль или единица).