Позиция 7 Подходы к измерению информации. Единицы измерения информации

Вопросы для самостоятельного изложения

В каких случаях для целей измерения информации используется синтаксическая мера?

1

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных VД в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

• в двоичной системе счисления единица измерения — бит (bit - binary digit - двоичный разряд);

• в десятичной системе счисления единица измерения — дит (десятичный разряд).

В каких случаях для целей измерения информации используется семантическая мера?

2

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.

Тезаурус — это совокупность сведений, которыми располагает пользователь или система.

3

В каких случаях для целей измерения информации используется прагматическая мера?

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

4

Почему количество информации в сообщении удобнее оценивать не по степени увеличения знания об объекте, а по степени уменьшения неопределённости наших знаний о нём?

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Ι_β(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала H_β(α).

Тогда количество информации Ι_β(α) о системе, полученной в сообщении β, определится как

Ι_β(α) = H(α) - H_β(α)

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ι_β(α) = H(α). Иными словами, энтропия системы H(α) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

H(α) = -	N
	∑Pi log Pi
	i = 1

где P_i — вероятность того, что система находится в i-м состоянии.

Почему в формуле Хартли за основание логарифма взято число 2?

5

Хартли предложил процесс получения информации рассматривать как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений. При этом количество информации I, содержащееся в выбранном сообщении, определять как двоичный логарифм N.

Формула Хартли: I = log₂N

При каком условии формула Шеннона переходит в формулу Хартли?

6

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = mⁿ,

где N — число всевозможных отображаемых состояний; т — основание системы счисления (разнообразие символов, применяемых в алфавите); п — число разрядов (символов) в сообщении.

По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет N = т ⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I = log N = n log m — формула Хартли.

7

Приведите примеры сообщений, содержащих один (два, три) бит информации.

8

Сколько бит необходимо, чтобы закодировать оценки: "неудовлетворительно", "удовлетворительно", "хорошо" и "отлично"?