- •1. Понятие информация.
- •2. Этапы преобразования (обращения) информации.
- •3. Структура системы передачи информации.
- •4. Предмет исследования теории информации.
- •5. Вероятностное определение количества информации по Шеннону
- •5. Количественная оценка информации.
- •Комбинаторное определение количества информации по Хартли.
- •Вероятностное определение количества информации по Шеннону.
- •6. Случайный процесс, как модель источника сообщений.
- •7. Виды дискретных источников.
- •8. Характеристики источника дискретных сообщений.
- •11. Модели непрерывных каналов связи.
- •12. Виды дискретных каналов связи.
- •13. Характеристики дискретного канала связи.
- •10 Взаимная информация. Средняя взаимная информация.
- •13. Назначение и виды кодирования.
- •14. Назначение, принципы и свойства экономного кодирования
- •14. Экономное кодирование
- •15.Предельные возможности экономного кодирования
- •16. Назначение и общие принципы помехоустойчивого кодирования
- •18.Декодирование корректирующих кодов по максимуму апостериорной вероятности и по минимуму кодового расстояния.
- •17.Основные характеристики корректирующих кодов.
- •19.(Построение и примеры линейных корректирующих кодов)
- •16. Характеристики источника непрерывных сообщений.
- •17. Характеристики непрерывных каналов связи.
11. Модели непрерывных каналов связи.
КнСв-совокупность линий связи и приемопередающей связи.
1. Идеальный непрерывный канал связи.
x
К
(t) y(t)
y(t)=К*x(t-τ(наск. Сигнал задерж)), k,T=Const
Применяется при отсутствии помех в канале.
2. Непрерывный канал с помехами.
y(t)=К(t)*x(t- τ (t))+n(t)
n(t) – аддитивная помеха (природные явления, промышленные установки)
3. Гауссовский непрер. канал связи.
y(t)=К*x(t- τ)+n(t)
Считается, что n(t) имеет нормальное распределение.
Может применяться в большинстве проводных каналов, радиоканалах прямой видимости, радиоканалах с медленным соединением.
12. Виды дискретных каналов связи.
-на входе и выходе присутствует конечное множество сигналов.
З
yj
ависимости между вх и вых сигналами ДК задается в виде переходных вероятностей (p(yj/xi))
ДК xi
|
Критерии:
1. В зависимости от объема алфавита: mx=my=2 (двоичный канал); mx<my (объем может быть увеличен за счет символов, которые служат признаком ошибки).
2. Временная зависимость. В общем случае переходные вероятности зависят от того, какие символы передавались ранее.
p(yj/xi; t) – нестационарный канал связи-(если св-ва канала меняются во времени).
Если вероятности переходов не меняются во времени, то этот канал стационарный.
3. p(yj/xi1xi2…xin) – канал с памятью(-если переходные вероятности зависят от ранее переданных символов)
4. Симметричный канал по входу – если все ошибочные переходы имеют одинаковую вероятность. Симметричный по выходу – если столбцы имеют одинаковые значения.
|
-двоичный канал с ошибками? |
|
-канал, симметричный по входу и выходу |
13. Характеристики дискретного канала связи.
Техническая скорость передачи (скорость манипуляции) – количество символов, передаваемых по каналу за 1 сек.
VT=1/τср =1/Т [Бод].
Техн. скорость определяется свойствами непрерывного канала связи и быстродействием.
Скорость передачи инф – среднее количество информации, передаваемое по каналу за единицу времени.
VИ=VT*Iср(xy) [бит/с].
Пропускная способность – макс скорость передачи информации по каналу, которая может быть достигнута при использовании современных способов при приёме/передачи информации. C=maxVИ=maxVT[H(X)-H(X/Y)]=maxVTIср(XY).
В каждом конкретном случае необходимо выбрать алгоритм передачи и приема сообщений и способ его технической реализации.
Д ля идеального канала C=maxVTH(X). Для повышения пропускной способности VT до VTmax или энтропию H(X)=Hmax=logmx за счет выравнивания вероятностей символов p(xi)=1/mx и устранения корелляционных зависимостей.
10 Взаимная информация. Средняя взаимная информация.
I(xi)=-logp(xi) – априорная неопределенность (до передачи)
I(xi/yj)=-logp(xi/yj) – апостериорная неопределенность (после передачи)
I(xiyj)=I(xi)-I(xi/yj)=log[p(xi/yj)/p(xi)] – взаимная информация.
Взаимная информация – количество инф, которое мы получаем о событии xi, наблюдая событие yj.
Свойства:
1) Увеличивается при уменьшении априорной и увеличении апостериорной вероятностей.
2) а) I(xiyj)>0
б) I(xiyj)=0
в) I(xiyj)<0
3) Если I(xiyj)=I(xi), то помехи в канале отсутствуют.
I(xiyj)≤I(xi) – помехи есть, информации больше чем имелось не будет.
4) I(xiyj)=I(yjxi) – свойство симметрии. Количество информации, получаемой нами, равно количеству инф при обратной ситуации.
log[p(xi/yj)/p(xi)]= log[p(yj/xi)/p(yj)]
Усреднив по всему множеству реализаций X и Y, мы получим среднюю взаимную инф.
Iср(XY) – среднее количество инф, которое мы получаем о состоянии источника Х, наблюдая реализацию источника У.
Iср(XY)=H(X)-H(X/Y).
Свойства: 1) Iср(XY)≥0 (=0 когда выход канала никак не связан со входом)
2) Iср(XY)≤H(X)
3) Iср(XX)=H(X)
