1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона

1. После получения сообщения получатель приобретает такое количество информации, которое равно энтропии полученного сообщения.

2. Если известно, что данное событие наверняка произойдет или не произойдет, его энтропия минимальна и равна 0.

3. Энтропия максимальна, если ожидаемые события могут произойти с равной вероятностью.

4. Количество информации, получаемое при приеме равновероятных сообщений, максимально и равно количеству информации по Хартли.

5. Энтропия сложного события, состоящего из нескольких независимых событий, равна сумме энтропий этих событий.

6. Энтропия сложного события, состоящего из нескольких зависимых событий, равна не сумме энтропий этих событий и может быть найдена с использованием матрицы взаимных вероятностей получения всевозможных комбинаций этих сообщений.

1.2.3. Литература

1. Nyquist H. Certain factors affecting telegraph speed, Bell system technical journal. 1924. v.3. p. 324.

2. Hartley R.V. Transmition of information, Bell system technical journal, 1928. v.7. p. 535.

3. Котельников. О пропускной способности "эфира" и проволоки в электросвязи. Материалы к I Всесоюзному съезду по вопросам технической реконструкции дела связи и развития слаботочной промышленности. Всесоюзный энергетический комитет, 1933.

1.2.4. Избыточность сообщения

Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет меньшую энтропию, количество находящейся в нем информации падает, а поскольку размер сообщения может оставаться прежним, говорят о его избыточности.

Различают 2 вида избыточности – абсолютную и относительную.

Абсолютная избыточность D_abs находится в виде разности между максимально возможной H_max и действительной энтропией H сообщения:

D_abs = H_max ─ H .

Относительная избыточность D находится как отношение абсолютной избыточности D_abs к максимальной энтропии H_max:

.

Избыточность иногда вредна, а иногда полезна. Ее вредность заключается в том, что она обуславливает увеличение объема передаваемых сообщений, что излишне загружает каналы связи, увеличивает необходимый для их хранения размер запоминающих устройств. С другой стороны, избыточность, если ею правильно распорядиться, может быть использована для увеличения надежности передачи и хранения информации.

1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона

Рассмотрим оцифрованное телевизионное изображение с параметрами:

• количество строк в кадре Nстр=400;

• количество столбцов в кадре Nстолб=600;

• число градаций яркости Ярк = 2⁷=128;

• число градаций цвета Цвет =2¹⁴=16384;

• количество кадров за 1 сек Кадр = 25.

При таких параметрах количество информации по Хартли I_h равно:

I_h = N_стр* N_столб * Кадр * log₂(Ярк*Цвет) = 126 000 000 бит/сек.

Таким образом, за 1 сек. через телеэкран может быть передано максимум 126 миллионов бит. Но на самом деле передается намного меньше. Оценка количества информации с использованием меры Хартли соответствует оценке мерой Шеннона только в случае равных вероятностей передачи в каждой точке изображения значения любой яркости и любого цвета. Причем яркость и цвет каждой точки должны быть статистически независимыми друг от друга. Внешне это выглядит как экран с зернистым изображением. Такое изображение мы видим, когда телеприемник настроен на канал, по которому не ведется вещание, например поздней ночью или ранним утром.

Известно, что через зрение человек не может воспринимать более 50-100 бит/сек. Следовательно, реальное изображение несет в себе намного меньше информации. Действительно, точки реального изображения сильно связаны между собой и составленное из них изображение совсем не похоже на случайную смесь разноцветных и разноярких точек. Следовательно, телесигнал обладает очень большой избыточностью.

Кроме того, в человеческом мозгу хранится много моделей изображений, полученных на основании опыта прожитой жизни. Он обладает развитой способностью к интерполяции и логическому мышлению. Поэтому человек может распознавать и понимать передаваемое на экран изображение по малому числу элементов. Он может сжимать данные, выделяя из них главное ─ смысловое содержание. Все это, однако, находится за пределами шенноновской меры информации.