19.(Построение и примеры линейных корректирующих кодов)

1. V_K=n_o*V_n

2. Среднее количество информации, переносимое по каналу связи вместе с ошибкой должно равняться количеству информации получаемой от источника.

H(A)=n_oH(X)

На практике (с помехами)

H(A)=> (H(x)-H(X/Y))*n_o

H(X/Y)-приводит к использованию избыточности.

r = (H_max(X) – H(X)) / H_max(X) = 1 – H(X)/log m_k

если без помех – 1- H(A)/ n_o*log m_k

3. V_u*H(A)<V_k(H_max(X)-H(X/Y))

Что бы уменьшить вероятность ошибки, нужно увеличивать длину кодовой комбинации.

16. Характеристики источника непрерывных сообщений.

1. Дифференциальная энтропия.

X={x_i}, i=1..m_x

H(X)=-∑p(x_i)logp(x_i)

p(x_i)=f(x_i)*∆x

H(X)= -∑∆x*f(x_i)log∆x*f(x_i)= -∑∆x*f(x_i)logf(x_i)-∑∆x*f(x_i)log∆x

В общем случае энтропия непрерывного источника будет равна бесконечности.

Вывод: Энтропия источника непрерывных сообщений равна бесконечности. (вероятность выбора конкретного значения равна 0)

–дифференциальная энтропия.

Диф. энтропия – это среднее количество информации, получаемое от источника непрерывных сообщений по сравнению с неопределенностью состояния источника непрерывных сообщений с равномерным распределением плотности вероятности на интервале, равном 1.

H(X_p)= log(a)-lim(log∆x)

H(X)-H(X_p)= -∫f(x)logf(x)dx-log(a)

a=1 => -∫f(x)logf(x)dx=H_∆(X)

2. Свойства диф. энтропии:

1) Относительность

y=kx => H(Y)=…=H(X)+log(k)

2) Энтропия источника не зависит от сдвига его по оси значений.

y=x+C => H_∆(Y)=H_∆(X)

3) Экстремальное свойство

а) Ограничиваем только диапазон x: a≤x≤b

Макс. значение H_∆(X) будет обеспечивать равномерный закон распределения вероятности

H_∆^max(X)=log(b-a)

f(x)=1/(b-a)

б) Ограничиваем относительное изменение сл. вел.(дисперсию) σ_x≤σ₀

Макс. H_∆(X) будет обеспечивать непрерывный источник с норм законом распределения вероятности.

3. Эпсилон-энтропия и ее свойства.

y(t)=x(t)+ξ(t); ξ(t)=y(t)-x(t)

- средняя квадратичная погрешность

M[ξ(t)]=0

σ_ξ≤ξ₀, то сигналы близки друг к другу по величине ξ.

Эпсилон-энтропия H_ξ0(X) непрерывного источника – среднее количество информации в одном отсчете непрерывного случайного процесса X, которое необходимо для воспроизведения этого сигнала с заданной средней квадратичной погрешностью ξ₀.

I(XY)=H(X)-H(X/Y)=H(Y)-H(Y/X)

H(X)= -∫f₁(x)logf₁(x)dx

f₁(x) – функция плотности распр-я случ проц X

H(X/Y)= -∫∫f₁(x/y)logf₁(x/y)dxdy

f₁(x/y) – условная плотность распр-я при условии, что принят условный сигнал Y.

I(XY)=H(X)-H(ξ)

Эпсилон-энтропия – минимальная средняя взаимная информация, содержащаяся в выходном сигнале Х, которая позволяет считать их эпсилон-близкими.

min I(XY)=H(X)-max H(ξ)

Max H_ξ0(X) достигается когда источник описывается нормальным законом.

17. Характеристики непрерывных каналов связи.

1) Скорость передачи информации, полоса пропускания – диапазон частот, в котором ослабление сигнала не превышает некоторой допустимой величины.

2) R_К – количество информации, передаваемое по каналу за единицу времени.

R_K=W_K[H(X)-H(X/Y)]

f_д≥2∆F

если f_д=2∆F, то W_K=2∆F

I(XY)=H(Y)-H(Y/X)

y(t)=x(t)+ξ(t)

-пропускная способность

Пропускная способность определяется полосой пропускания и отношением сигнал-помеха (сигнал-шум).