Дискретный канал с помехами

Дискретный канал с помехами характеризуется условными вероятностями P(y_j/x_i) Среднее количество информации на символ: I(Y,X) = H(Y) – H(Y/X).

В случае независимости отдельных символов сигнала

Средняя условная энтропия: Пропускная способность канала C = V_ max I(Y,X)

H(Y) не может превосходить величины что достигается при P(x₁) = P(x₂) 1/2. Поэтому имеем max (I(Y,X)) = 1 + PlogP + (1-P) log(1-P) и, пропускная способность: C = V_ max(I(Y,X)) = V_ [1+ PlogP + (1-P) log(1-P)]. При P = 1 сигналы x₁ превращаются в сигналы x₂ и наоборот с вероятностью, равной единице. При этом пропускная пособность канала также максимальная: Cmax = V_.

Билет 4

Уровни проблем передачи информации.

Синтактический: чисто технические проблемы совершенствования передачи информации.Здесь интересуют проблемы доставки получателю сообщений как совокупности знаков.

Семантический: проблемы связаны с формализацией смысла передаваемой информации.

Прагматический: интересуют последствия от получения и использования данной информации абонентом. Проблемы этого уровня – это проблемы эффективности.

Согласование характеристик сигнала и канала связи.

3 важных параметра:1) время передачи сигнала Т_х 2)H_x=log(P_x/P_e),где P_x/P_e-отношение мощности сигнала к мощности помехи.

3)спектр частот F_x. Эти три параметра позволяют представить сигнал в трёхмерном пространстве с координатами H,T,F в виде параллелепипеда. V_x=T_xH_xF_x – оббьем сигнала. Канал так же можно охарактеризовать объёмом V_k=T_kH_kF_k. Для передачи сигнала по каналу нужно T_x<T_k , H_x<H_k , F_x<F_k. Если V_x<V_k ,но эти условия не выполняются,сигнал может быть преобразован,так что передача окажется возможной.

БИЛЕТ 5:

Количество информации при равновероятности состояний источника сообщений

К количеству информации (неопределенности до опыта) можно предъявить три интуитивных требования.

1. если 2. 3.

Р.Хартли– Для канала связи без помех и искажений Количество информации , где Р – вероятность события, было положено в основу и было исходной точкой создания теории информации.

Билет 6:

Энтропия ансамбля.

Ансамблем называется полная совокупность состояний с вероятностями их появлений, составляющими в сумме единицу:

причем

Средняя информация, доставляемая одним опытом (энтропия) по Шеннону:

Характеризует степень неопределенности состояния этого источника. Максимальна при равновероятных состояниях источника.

БИЛЕТ 7

Энтропия объединения

Объединение - совокупность двух и более взаимозависимых ансамблей дискретных случайных переменных. Энтропия объединения рассчитывается по формуле:

Билет 8

Свойства энтропии.

1. Энтропия всегда неотрицательна, так как значения вероятностей выражаются дробными величинами, а их логарифмы – отрицательными величинами

Энтропия равна нулю в том крайнем случае, когда одно событие равно единице, а все остальные – нулю. Это положение соответствует случаю, когда состояние источника полностью определено.

2. Энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой

3. Энтропия источника Х с двумя состояниями х₁ и х₂ изменяется от нуля до единицы, достигая максимума при равенстве их вероятностейР(х₁) = Р = Р(х₂) = 1 - Р = 0,5.

4. энтропия непрерывно зависит от вероятности отдельных состояний

5. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников H(X,Y,Z,..., W) = H(X) + H(Y) + H(Z) + ... + H(W).Энтропия объединения двух статистически связанных ансамблей X и Y равна

6. Энтропия объединения любого числа зависимых ансамблей определяется из выражения

7. Энтропия не зависит от значений, принимаемых случайными величинами, а зависит только от вероятностей их появления

Если события x_i и y_j статистически независимы при любых i и j, то H(Y/X) = H(Y) и H(X/Y) = H(X).

Билет 9

Количество информации от опыта в общем случае.

Если помех нету:

Неопределённость ситуации до приёма сигнала характерезуется энтропией

Количество информации может быть определено как мера снятой неопределённости.Энтропия есть мера неопределённости,а кол-во информации – мера изменения неопределённости.

С помехами:

H(x_i / y_j) = -logP(x_i / y_j).

Это средняя неопределённость ансамбля Х после опыта. Количество информации: I(Y,X) = H(X) – H(X/Y).

БИЛЕТ 12

Свойство энтропии эргодического источника

Теорема 1. Для любых и можно найти такое M₀, при котором эргодические последовательности с длиной распадаются на два класса:

1) типичные, вероятности которых удовлетворяют следующему неравенству:

где Н(Х) – энтропия эргодического источника;

2) нетипичные, сумма вероятностей которых меньше .

БИЛЕТ 10:

Дифференциальная энтропия

Источники информации, множество возможных состояний которых составляют континуум, называют непрерывными.

БИЛЕТ 11:

Энтропия эргодического источника.

Эргодический источник r-го порядка – такой источник, у которого вероятность появления некоторого символа x_j зависит от r предыдущих. Вырабатывая очередной символ, источник переходит из одного состояния в другое. Энтропия Н(Х) есть среднее значение (математическое ожидание) энтропий всех характерных состояний источника.

где значок b/k у суммы означает, что производится суммирование по всем переходам из состояния S_k в S_b.

Билет 13

Избыточность и поток информации источника сообщений.

энтропия характеризует среднее количество информации, несомое одним символом источника. Она максимальна, когда символы вырабатываются источником с равной вероятностью. избыточность

Источник с R = 0, называется оптимальным. Если R = 1, то Н(Х) = 0 - информация, вырабатываемая источником, равна нулю Чем меньше избыточность R, тем рациональнее работает источник. средняя длительность выдачи источником одного знака: где P(S_k) – вероятность того, что источник сообщений находится в состоянии S_k; P(x_i) – вероятность появления символа x_i в состоянии S_k; _xi – длительность выдачи знака x_i источником в состоянии S_k.

Энтропия источника, приходящаяся на единицу времени

Если длительность выдачи знака не зависит от состояния источника:

поток информации максимальный, если энтропия источника на символ максимальна. необходимо, чтобы длительность тех символов, вероятность появления которых больше, была меньше

Билет 14

Префиксные коды. Привести пример префексного и непрефексного кода.

Префиксный код – код,где ни одна комбинация кода не является началом более длинной комбинации. В противном случае код непрефиксный.

Пример префиксного: 0, 10 и 11. Пример непрефиксного: 0, 10, 11 и 100

БИЛЕТ 15:

Эпсилон - энтропия источника сообщений

Эпсилон–энтропия – это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса Х(t), которое необходимо для воспроизведения этого сигнала с заданной среднеквадратичной погрешностью _о .

Расстояние между сигналами X(t) и Y(t)

Так как , то условная энтропия при принятом Y(t) полностью определяется “шумом” воспроизведения E(t). Поэтому

max H_(X/Y) = max H_(E)

Учитываем, что мощность помехи ограничена величиной ₀², тогда максимальная энтропия помехи, отнесенная к одному отсчету Эпсилон-энтропия имеет максимальное значение, когда процесс X(t) также является гауссовским:

Скорость передачи информации для дискретного канала

Для характеристики дискретного канала связи используют два понятия скорости передачи: технической и информационной.

Под технической скоростью передачи V_, называемой также скоростью манипуляции, подразумевают число элементарных символов (сигналов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала и определяется из выражения Бод, где – среднее значение длительности символа.При одинаковой продолжительности  всех символов, передаваемых в канал .

скорость передачи информации по каналу R_t определяется из выражения R_t = V_ I(Y,X),