1.2. Измерение информации.
Ценность теоретико-информационных представлений заключается в том, что благодаря их общности и абстрактности существенно разнородные физические и технические характеристики можно выразить через некоторые универсальные понятия теории информации и сопоставить их не только качественно, но и количественно.
Существуют три направления в теории информации, связанные с ее количественной оценкой – структурное, статистическое и прагматическое.
Структурная теория рассматривает дискретное строение массивов информации и ее измерение либо простым подсчетом информационных элементов, либо комбинаторным методом.
Статистическая теория оперирует понятием энтропии, характеризующей неопределенность сообщений и учитывающей вероятность их появления.
Прагматическая теория изучает вопросы о практическом использовании информации, о ее ценности для достижения поставленной цели.
В инженерной практике наибольшее применение находят первые две теории, поэтому ограничимся только их рассмотрением.
Независимо от направления теории информации при количественном ее определении должны выполняться следующие общие принципы:
количественная мера информации не должна зависеть от физической природы объекта или процесса;
мера должна быть такой, чтобы количество информации в данной мере было тем больше, чем больше априорная неопределенность ситуации;
количественная мера должна удовлетворять принципу аддитивности, согласно которому количество информации должно изменяться прямо пропорционально длительности сообщения.
Рассмотрим меры информации, удовлетворяющие перечисленным требованиям.
1.2.1. Структурные меры информации.
Структурные меры информации применяются для оценки возможностей аппаратуры или сообщений вне зависимости от условий их применения.
В структурной теории различают геометрическую, комбинаторную и аддитивную меры информации.
Геометрическая
мера используется для определения
потенциального, т.е. максимально
возможного количества в заданных
структурных габаритах. Это количество
называют информационной емкостью
исследуемой части системы. Определение
количества информации геометрическим
методом сводится к измерению длины,
площади или объема геометрической
модели исследуемой системы. Единицей
измерения при этом являются кванты,
представляющие собой неделимые части.
Физический смысл их может быть разным.
Например, если ЗУ (запоминающее устройство)
имеет информационную емкость 1 кбит
(1024
1),
то под квантом здесь подразумевается
одна элементарная ячейка памяти,
запоминающая 1 бит информации.
Комбинаторную меру применяют, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов.
При формировании сообщений применяют следующие основные виды соединения букв:
– сочетания из
h букв по
;
комбинации здесь отличаются составом
букв, а максимальное их число определяется
выражением:
;
– сочетания с повторениями также различаются составом букв, но буквы в них могут повторяться по раз:
;
– перестановки h букв различаются их порядком:
;
– перестановки
с повторениями букв, причем одна из букв
повторяется
,
другая –
,
наконец, последняя –
раз:
;
– размещения из h букв по различаются и составом букв, и их порядком:
;
– размещения
с повторением букв до
раз:
.
Количество информации в комбинаторной мере совпадает с числом возможных соединений букв.
Аддитивная мера (мера Хартли) используется для определения количества информации в сообщении без учета реальной вероятности появления отдельных букв (принимается одинаковой), возможной статистической связи между буквами и свойств канала связи.
Пусть передается сообщение длиной n, а объем используемого алфавита равен m. Очевидно, что при такой структуре может быть получено
(1.2)
различных сообщений.
Чем больше N,
тем больше априорная неопределенность
ситуации и, следовательно, тем больше
количество информации будет получено
в результате приема конкретного
сообщения. Однако непосредственно
использовать выражение (1.2) для
количественной оценки информации в
сообщении нельзя, так как здесь не
выдержан принцип аддитивности –
пропорциональность между длиной
сообщения n и количеством
содержащейся в нем информации N.
Но поскольку N однозначно
определяется структурой сообщения, то
для количественной оценки информации
в нем целесообразно использовать
некоторую функцию
,
такую, чтобы для I выполнялся
принцип аддитивности.
В математической форме требование аддитивности записывается так:
. (1.3)
Дифференцируя
(1.2), получим:
,
откуда
. (1.4)
Для того чтобы удовлетворялось требование аддитивности, выразим dn из (1.3) и подставим полученное значение dn в (1.4). Имеем:
,
откуда
. (1.5)
Интегрируя (1.5) по N, получаем:
. (1.6)
Выражение (1.6)
справедливо для любого основания
логарифма, так как содержит отношение
натуральных логарифмов, а
.
Итак, для произвольного основания логарифма имеем:
. (1.7)
Из (1.7) видим,
что количество информации зависит не
только от N, но и от объема
используемого алфавита. Желательно
убрать эту зависимость. Сделать это
можно, если учесть, что в (1.3) не накладывается
никаких ограничений на величину k,
кроме того, что
.
Поэтому можно принять
и тогда получаем:
или
. (1.8)
За единицу
количества информации в данной мере
принят 1 бит, соответствующий количеству
информации, определенному по (1.8) при
для простейшей ситуации: n=1,
m=2.
Выражение (1.8) впервые получено Р. Хартли, поэтому рассмотренную меру называют также мерой Хартли. Она позволяет определить потенциальное количество информации в сообщении заданной структуры.