- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
1.5.Пропускная способность дискретного канала связи без помех
Скорость передачи информации по каналу связи определяется выражением
где
– средняя длительность сообщения;
– скорость выдачи символов сообщения
источником.
Как видно из выражения, скорость зависит не только от свойств самого канала, но и от подаваемого на его вход сигнала, поэтому не может характеризовать канал.
Под пропускной способностью дискретного канала связи понимается максимальная скорость передачи информации.
Пропускная способность двоичного симметричного канала в расчете на единицу времени рассчитывается по формуле (без вывода)
,
где Р – вероятность ошибки при передаче символа по каналу; ВТ - максимальная скорость передачи символов по каналу связи.
При P = 0,5 пропускная способность двоичного канала С равна нулю, т. е. канал связи не работает, поскольку при такой вероятности ошибки последовательность выходных двоичных символов можно получить, совсем не передавая сигналы по каналу, а выбирая их наугад (например, по результатам бросания монеты). Случай С = 0 называют обрывом канала. То, что пропускная способность при P = 1 в двоичном канале такая же, как при P = 0 (канал без шумов), объясняется тем, что при P = 1 достаточно все выходные символы инвертировать (т.е. заменить 0 на 1 и 1 на 0), чтобы правильно восстановить входной сигнал. На рис. 19 графически показана зависимость пропускной способности двоичного канала связи от вероятности ошибки.
Рис. 19. Зависимость пропускной способности от
вероятности ошибки в канале связи
Задача. Определить пропускную способность двоичного симметричного канала связи m = 2, если вероятность ошибки равна 0,1, а скорость передачи сигналов по каналу равна 400 бит/с.
Решение. Пропускную способность канала связи при m = 2 можно определить по приведенной выше формуле С = 400 (1 + + 0,1 log2 0,1 + 0,9 log2 0,9) = 400 (1 – 0,332 – 0,137) = 212,4 бит/с.
Задачи
1. Источник вырабатывает символы с вероятностями р1 = 0,1; р2 = 0,15; р3 = 0,25; р4 = 0,3; р5 = 0,2; корреляционные связи между сообщениями отсутствуют. Передача осуществляется двоичным кодом, длительность символов которого равна = 2 мс. Определить скорость передачи информации по каналу связи без помех при использовании равномерного кода.
2. Источник, вырабатывающий четыре символа с априорными вероятностями р1 = 0,4; р2 = 0,3; р3 = 0,2; р4 = 0,1, подключен к каналу передачи информации, обладающему пропускной способностью 1000 бит/с. Передача информации осуществляется равномерным двоичным кодом. Определить скорость передачи информации.
3. Чему равна пропускная способность симметричного канала, если источник вырабатывает со скоростью 2 знака в секунду сообщения, закодированные кодом с основанием m = 10, а вероятность ложного приема q = 0,03?
4.
Определить пропускную способность
канала с помехами типа белого гауссова
шума. Полоса пропускания канала Fк
= 3000
Гц. Среднее квадратическое отклонение
полезного сигнала
а помехи -
