3.9.4.Кодирование при наличии шумов
Наиболее интересные и важные результаты были получены при рассмотрении передачи информации по каналам связи с шумами. В этом случае безызбыточное кодирование приведет к безвозвратным потерям информации: искаженный символ нельзя ни обнаружить, ни исправить. Для борьбы с влиянием помех необходимо ввести избыточность в сигнал. Основываясь на интуитивных соображениях (например, на опыте многократного повторения), легко прийти к выводу, что при неограниченном повышении требований к малости вероятности ошибки избыточность при любом способе кодирования должна неограниченно возрастать, а скорость передачи — стремиться к нулю. Здесь имеем пример того, как сильно интуиция может привести к заблуждению. Шэннон показал, что существуют такие способы введения избыточности, при которых обеспечиваются одновременно и сколь угодно малая вероятность ошибки, и конечная (отличная от нуля) скорость передачи информации, причем эта скорость может быть сколь угодно близкой к пропускной способности канала. Это замечательное открытие и привлекло столь большое внимание к теории информации.
Рис. 3.11
Воспроизведем упрощенное доказательство
указанного утверждения. Рассмотрим
схему передачи по каналу с шумом (рис.
3.11). Будем считать, что на вход кодера
сигналы поступают закодированными
безизбыточно. Кодер вносит в сигналы
избыточность, увеличивая длительность
кодовых слов. Число возможных
последовательностей сразу резко
увеличивается, но избыточность и состоит
в том, что к отправке предназначаются
не все из них, а лишь разрешенные
(отмеченные на рис. 3.11 черными кружками).
Согласно фундаментальному свойству
энтропии, число всевозможных
последовательностей длины n
равно
,
а число разрешенных к отправке равно
(считаем, что энтропия исчисляется в
битах); Н — энтропия на символ во множестве
разрешенных к отправке последовательностей
("энтропия источника", или "скорость
создания информации"), Н(Х) — энтропия
на символ во множестве всевозможных
последовательностей. В результате
воздействия шумов какие-то из символов
отправленной последовательности
подменяются другими и на приемный конец
поступает другая, отличная от отправленной,
последовательность. Поскольку
считается известным, каждой принятой
последовательности соответствует
возможно отправленных. Декодирование
(т.е. принятие решения о том, какая
последовательность была отправлена)
можно выразить как разбиение всего
множества Y принимаемых последовательностей
на
подмножеств, сопоставляемых с разрешенными
к отправке: если, например, принят сигнал
i-й группы, то считается, что был послан
i-й разрешенный сигнал, который тут же
выдается в "чистом" виде получателю.
Итак, в построенной модели проблема выбора кода (способа передачи) состоит в размещении разрешенных последовательностей среди множества всевозможных на передающем конце и в разбиении этого множества из последовательностей на подмножеств на приемном конце. Идея Шэннона состоит не в том, чтобы указать некоторый регулярный способ кодирования со сколь угодно малой вероятностью ошибки, а в том, чтобы показать, что такой код вообще существует.
Само знание потенциальных возможностей имеет огромное значение: сравнение характеристик реальных систем с теоретическими пределами позволяет судить о достигнутом уровне и о целесообразности дальнейших затрат на его повышение. Прикладные же вопросы рассматриваются в специальном разделе теории информации — теории кодирования, которая изучает способы построения конкретных кодов и их свойства, в частности точные или граничные зависимости вероятностей ошибок от параметров кода.
Для напоминания об основных понятиях теории информации приведем вариант блок-схемы системы передачи информации (рис. 3.12), на котором приведено большинство введенных выше понятий и обозначений.
Вместе с тем некоторые специалисты различных отраслей науки некритически распространяли методы и конкретные результаты теории информации на любые информационные процессы в реальном мире. Уже сам Шэннон заметил эту тенденцию и настоятельно предостерегал от того, чтобы ей безоглядно следовать. Дело в том, что шэнноновское количество информации является характеристикой, лишь с одной стороны описывающей информационные отношения. Именно эта сторона — соответствие состояний — играет главную роль в технических устройствах. Однако в этом соответствии не проявляют себя (и, следовательно, могут не учитываться) такие свойства информации, как смысл, доброкачественность (степень истинности), ценность, полезность, временное старение, причинно-следственная направленность и т.д. — свойства, весьма существенные для информационных отношений с участием живых организмов, людей, коллективов.
Для системного анализа теория информации имеет двоякое значение. Во-первых, ее конкретные методы и результаты позволяют провести ряд количественных исследований информационных потоков в изучаемой или проектируемой системе (если в этом возникнет необходимость). Однако более важным является эвристическое значение основных понятий теории информации — неопределенности, энтропии, количества информации, избыточности, пропускной способности и пр. Их использование столь же важно для понимания системных процессов, как и использование понятий, связанных с временными, энергетическими процессами. Системный анализ неизбежно выходит на исследование ресурсов (наличных и необходимых), которые потребуются для решения анализируемой проблемы. Информационные ресурсы играют ведущую роль наряду с остальными ресурсами - материальными, энергетическими, временными, кадровыми.
Рис. 3.12