1.7. Меры качества и количества информации

Как мы видели из перечисления свойств информации в значительной мере определяющих ее качество можно говорить как о частных мерах качества, так и об интегрированных или общих. Примером частных мер качества информации могут служить меры точности (погрешности).

В частности применительно к числовой информации представляемой в ЭВМ различают погрешности: абсолютную D[A] = A - A_m и относительную A = DА/А_m, где А – истинное значение, А_m – машинное значение.

Меры количества информации характеризуются, как правило, либо объем ресурса (памяти) необходимого для использования (хранения) информации либо относительную полезность информации для решения конкретной задачи.

В первом случае информация отождествляется с данными, то есть рассматривается безотносительно содержания и количество ее оценивается либо в единицах измерения прикладной области (количество скважин, количество точек измерения, …), либо в единицах носителей информации, то есть реализуется объемный, структурный подход на которых она хранится. Для ЭВМ в качестве таких единиц используются биты, байты(8 бит), килобайты (1024 байта), мегабайты (1024 килобайты), гигабайты (1024 мегабайты).

Для оценки содержательной ценности информации часто используют статистический подход, разработанный К. Шенноном применительно к задачам передачи информации (теория связи).

Статистическая (энтропийная) мера.

Разработана с позиции теории связи К. Шенноном в работе «Избранные труды по теории информации». Используется понятие энтропии как меры неопределённости, учитывающей вероятность появления и информативность события.

Создавая основы статистической теории информации, Шеннон специально подчеркивал, что он занимается вопросами математической теории связи, и при этом абстрагируется от всех качественных и человеческих аспектов информации.

В теории информации исследуются дискретные и непрерывные случайные системы (свойства, признаки). Рассмотрим сначала дискретные системы.

Пусть имеется случайная величина (физическая система) – X, которая может принимать n состояний: х₁, х₂, ….., х_n. Каждое из этих

состояний может рассматриваться как случайное событие x_i, имеющее вероятность P(x_i) События х₁, х₂, ….., х_n образуют полную группу случайных событий, т.е.

До проведения опыта системе Х присуща неопределённость

Количество информации содержащееся в сообщении об отдельном событии х_i-h(х_i).

Можно сформулировать содержательные требования к h(хi).

Чем более вероятно событие, тем меньше информации получаем при его осуществлении (информация – обратная функция вероятности).

h(х_i)=0, когда P(х_i)=1;

Мера информации должна удовлетворять свойству аддитивности.

h(x_i , x_j) = h(x_i) + h(x_j) при независимых x_i , x_j – результирующая информация двух независимых сообщений равна сумме информации каждого из сообщений.

Этим требованиям удовлетворяет единственная функция

к оторая и рассматривается в теории информации как количество информации, содержащее в сообщении о событии х_i .

В зависимости от основания логарифма различают единицы информации:

- бит (двоичные логарифмы);

- нат (натуральные логарифмы);

- дит или хартли (десятичные логарифмы).

Значение функции h(x_i), осредненное по всем значениям (состояниям) Х

называется энтропией и характеризует среднее количество информации, необходимое для полного определения системы Х. H(X) является мерой неопределенности системы Х.

Свойства энтропии:

- принимает только положительные значения:

- равна нулю в случае полного отсутствия неопределенности, когда вероятность одного из состояний системы равна 1, а остальных – 0;

- при заданном числе состояний n максимальна и равна log n, когда вероятности всех n состояний равны, т.е.

Таким образом, при заданном n

Если обозначить через Нο(X) – исходную неопределенность случайной величины X, а через H₁(X/Y) – неопределенность после получения сведений Y, то количество информации, полученное из сведений Y об X можно определить как I = Нο(X) - H₁(X/Y)