- •1. Понятие информация.
- •2. Этапы преобразования (обращения) информации.
- •3. Структура системы передачи информации.
- •4. Предмет исследования теории информации.
- •5. Вероятностное определение количества информации по Шеннону
- •5. Количественная оценка информации.
- •Комбинаторное определение количества информации по Хартли.
- •Вероятностное определение количества информации по Шеннону.
- •6. Случайный процесс, как модель источника сообщений.
- •7. Виды дискретных источников.
- •8. Характеристики источника дискретных сообщений.
- •11. Модели непрерывных каналов связи.
- •12. Виды дискретных каналов связи.
- •13. Характеристики дискретного канала связи.
- •10 Взаимная информация. Средняя взаимная информация.
- •13. Назначение и виды кодирования.
- •14. Назначение, принципы и свойства экономного кодирования
- •14. Экономное кодирование
- •15.Предельные возможности экономного кодирования
- •16. Назначение и общие принципы помехоустойчивого кодирования
- •18.Декодирование корректирующих кодов по максимуму апостериорной вероятности и по минимуму кодового расстояния.
- •17.Основные характеристики корректирующих кодов.
- •19.(Построение и примеры линейных корректирующих кодов)
- •16. Характеристики источника непрерывных сообщений.
- •17. Характеристики непрерывных каналов связи.
18.Декодирование корректирующих кодов по максимуму апостериорной вероятности и по минимуму кодового расстояния.
Задача декодирования включает в себя:
Обнаружение ошибки
И
ē
справление
ошибки (ӯ
зj=>
=
pi*)
ӯ
Āi
(подписать из тетради)
Ошибка –есть–исправить
Ошибка – нету
Правило декодирования по мах апостериорной вероятности (вероятность того, что передавался некоторый
при условии, что
нам известен).
-
разрешенное слово, которое наиболее
вероятно перешло в запрещенные.
po – вероятность исправления одного разряда.
t – кратность ошибки.
(n-t) – безошибочные разряды.
Для использования каналов связи, для которых po мала, наиболее вероятными являются ошибки меньшей кратности, их нужно корректировать в 1ую очередь.
В соответствии с принципом общего подхода исправления ошибок мы должны при исправлении выбрать такое разрешенное слово, которое переходит в принятое запрещенное слово, при искажении меньшего числа разрядов.
– количество
двоичных разрядов, которыми они
отличаются.
– вес
17.Основные характеристики корректирующих кодов.
Избыточность
k – информационные
r – защищенные
n = k+r
ku=r/n=(n-k)/k=1-k/n
k/n=скорость кодирования.
Nобн = кол-во обнаруженных ошибок.
Nисп = количество исправленных
m - слова правильной передачи.
mo – сумма разрешенных и запрещенных слов
m*mo – общее число ситуаций при передачи.
m(mo-m)/m*mo=1-m/mo – для обнаружения ошибок.
(mo-m)/ m(mo-m)=1/m – доля исправленных – доля числа обнаруженных. увеличение объема выходного алфавита канала позволяет повысить долю обнаружения ошибок, от общего числа возможных случаев передачи.
Исправление ошибки производится только после ее обнаружения, при этом доля исправляемых ошибок, от числа обнаруживаемых будет определяться числом символов во входном алфавите.
3. Кратность корректируемой ошибки.
Ошибки какой кратности способен исправить tисп
Исправленная ошибка:
tиспр<tобн
tиспр<=do/2 -1
исправление в замене разрядов.
Минимальное кодовое расстояние корректирующего кода будет связано с избыточностью, точных формул не существует.
Найдены лишь верхние и нижние границы оценки кодового расстояния.
Гр. Плотинкина.
do, n=k+r
do<(2k-1*n)/(2k-1-1)
гр. Варшанова-гильберта
Теоретическая основа помехоустойчивого кодирования.
Теорема Шеннона для канала с помехами.
Если производительность источника сообщений меньше пропускной способности канала, то существует такой способ кодирования, который обеспечивает передачу информации по дискретному каналу с ошибками со сколь угодно малой вероятностью ошибочной передачи.
П
Н(А)
u=Vu*H(A)CK=VK(H(X)-H(X/Y)) – пропускная способность.
nu=T*VK
2Пu<2Ck
Таким образом, количество различных кодовых последовательностей длины nk много больше числа типичных последовательностей источника длины nu, которые подлежат кодированию.
Количество возможных способов кодирования М – определяет число размещений из NK по Nтип.u
Число способов кодирования будет достаточно велико, и требуется доказать, что по крайней мере один способ существует, который обеспечивает наименьшую вероятность ошибки.
Чтобы это доказать найдем вероятность правильного приема.
Среднее
количество типичных кодовых комбинаций,
которые могут
трансформироваться
в кодовое слово Y:
Правильно декодировать последовательность можно лишь в том случае, если из Nтипич(X/Y) кодовых комбинаций, только одна является разрешенной, а все остальные являются запрещенными.
Вероятность правильного приема –
pправ – это означает, что ни одна из NT(X/Y) – 1 не была использована для передачи.
pтип=Nтип/Nk
pправ=(1-pтип)Nt(X/Y)-1
и тут вот не понятно)
pошибки=1-pправ
pошибки<pтип * NT(X/Y)
pошибки<2-T[Vk log mk – Vk H(X/Y)- Vu H(A)]
pошибки<2-T (Ck-Пu)
это только теоретическое утверждение
nu=T*Vu
nk=T*Vk
Tдостовер сооб = To+2Tкодир
Чем больше последовательность ,тем больше Т кодирования.
Избыточность и длина кодовых комбинаций корректирующего кода.
