- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
Основные характеристики и корректирующие свойства блочных кодов
Любой код, обладающий избыточностью (выполняется условие Nр < N), может применяться в качестве исправляющего (корректирующего). При этом чем существеннее различие между разрешенными кодовыми комбинациями, тем выше корректирующие возможности кода. Степень различия кодовых комбинаций определяется минимальным кодовым расстоянием d min (dmin - число разрядов, в которых две любые кодовые комбинации различаются). Кодовое расстояние двух кодовых комбинаций определяется как число единиц в коде, полученном в результате их сложения по модулю 2.
Для обнаружения всех ошибок кратности до t0 кодовое расстояние должно удовлетворять условию
dmin ≥ t0 + 1.
Для исправления ошибок кратности tu кодовое расстояние должно удовлетворять условию
dmin 2tu + 1.
Для исправления всех ошибок кратности до tu и одновременно обнаружения всех ошибок кратностью tо должно выполняться условие
dmin to + tu + 1.
Рассмотрим, например, код с п = 3. Кодовые комбинации данного кода имеют вид
V1 |
V2 |
V3 |
V4 |
V5 |
V6 |
V7 |
V8 |
000 |
001 |
010 |
011 |
100 |
101 |
110 |
111 |
Для того, чтобы данный код обнаруживал одну ошибку, в качестве разрешенных следует выбрать комбинации V1 = 000, V4 = 011, V6 = 101 и V7 = 110. Нетрудно убедиться, что кодовое расстояние между каждой из этих комбинаций равно 2.
Для того, чтобы код не только определял наличие ошибки, но и устранял ее, следует в качестве разрешенных выбрать комбинации V1 = 000 и V8 = 111, либо V2 = 001 и V5 =110, либо V6 = 101 и V3 = 010 и т.д. Их кодовое расстояние равно 3.
Построение корректирующего кода с заданной корректирующей способностью заключается во внесении такой избыточности (добавления такого количества проверочных символов), которая обеспечила бы требуемое значение dmin. При этом желательно, чтобы число проверочных символов было бы минимальным.
В настоящее время вопрос об определении минимального количества избыточных символов не решен. Существует лишь ряд верхних и нижних пределов (границ) для отдельных кодов. Например, для кодов с dmin = 3 установлено, что число проверочных символов r в кодовой комбинации длиной п должно определяться из условия
.
Линейные блочные коды с обобщенными проверками на четность
Линейный блочный код имеет обозначение (n, k). Разобьем каждое кодовое слово на две части. Первая часть, состоящая из k символов, всегда совпадает с передаваемой информационной последовательностью, вторая часть, содержащая r = n - k символов, вычисляется как линейная комбинация фиксированного подмножества информационных символов. Эта часть символов называется символами обобщенной проверки на четность, или символами четности.
Важное свойство таких кодов: сумма любых двух кодовых слов также является кодовым словом.
Коды, в которых информационные символы не меняются, называются систематическими.
Самым простым из указанной группы кодов является (n, n - 1) код с одной проверкой на четность.
Код с одной проверкой на четность получается, например, из НДК путем добавления проверочного символа по правилу: значение добавляемого символа равно сумме всех кодовых символов по модулю 2. Нетрудно убедиться, что кодовое расстояние такого кода равно 2. По определению такой код может обнаруживать нечетное количество ошибок, так как четное количество ошибок дает удовлетворительный результат проверки на четность, но не может локализовать ошибку.
В некоторых помехоустойчивых кодах проверка на четность применяется дополнительно для улучшения корректирующих свойств кода.
Свойства и характеристики кодов с проверкой на четность зависят от числа таких проверок и способов их осуществления. Очевидно, что чем больше проверок на четность выполняется, тем больше кодовое расстояние и тем выше корректирующие способности кода.
