Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Лекции ОТИ - копия.doc
Скачиваний:
5
Добавлен:
01.07.2025
Размер:
9 Мб
Скачать
☆

Меры информации

Для каждого из рассмотренных выше уровней проблем передачи информации существуют свои подходы к измерению количества информации и свои меры информации. Различают соответственно меры информации синтаксического уровня, семантического уровня и прагматического уровня.

Меры информации синтаксического уровня

Количественная оценка информации этого уровня не связана с содержательной стороной информации, а оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. В связи с этим данная мера дает возможность оценки информационных потоков в таких разных по своей природе объектах, как системы связи, вычислительные машины, системы управления, нервная система живого организма и т. п.

Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) -- Vg (объемный подход) и количество информации — I (вероятностный подход).

Объем информации Vg (объемный подход). При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита. При этом каждый новый символ в сообщении увеличивает количество информации, представленной последовательностью символов данного алфавита. Если теперь количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) Vg в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов, то и единица измерения информации (данных) соответственно будет меняться.

Так, в десятичной системе счисления один разряд имеет вес, равный 10, и соответственно единицей измерения информации будет дит (десятичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем данных Vg = п дит. Например, четырехразрядное число 2003 имеет объем данных Vg = 4 дит.

В двоичной системе счисления один разряд имеет вес, равный 2, и соответственно единицей измерения информации будет — бит (bit — binary digit — двоичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем данных Vg = п бит. Например, восьмиразрядный двоичный код 11001011 имеет объем данных Vg = 8 бит. г

В современной вычислительной технике наряду с минимальной единицей измерения данных «бит» широко используется укрупненная единица измерения «байт», равная 8 бит. При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения, такие как килобайт (Кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт):

1 Кбайт = 1024 байт = 210 байт;

1 Мбайт = 1024 Кбайт = 220 байт = 1 048 576 байт;

1 Гбайт = 1024 Мбайт = 230 байт = 1 073 741 824 байт;

1 Тбайт = 1024 Гбайт = 240 байт = 1 099 511 627 776 байт.

Следует обратить внимание, что в системе измерения двоичной (компьютерной) информации, в отличие от метрической системы, единицы с приставками «кило», «мега» и т. д. получаются путем умножения основной единицы не на 103= 1000, 106= 1000 000 и т. д., а на 210= 1024, 220= 1048576 и т. д.

Количество информации I (энтропийный подход). В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации в сообщении определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия H, а количество информации равно:

1=Нapr-Haps,

где Нapr — априорная энтропия о состоянии исследуемой системы или процесса.

Haps — апостериорная энтропия.

Апостериори (от лат. a posteriori — из последующего) — происходящее из опыта (испытания, измерения).

Априори — (от лат. a priori — из предшествующего) — понятие, характеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае, когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т.е. Нaps = 0), количество полученной информации совпадает с первоначальной энтропией I=Hapr.

Рассмотрим в качестве исследуемой системы дискретный источник информации (источник дискретных сообщений), под которым будем понимать физическую систему, имеющую конечное

множество возможных состояний {аi.}, i = 1,m .

Все множество А = {а1, а2, ..., аm} состояний системы в теории информации называют абстрактным алфавитом, или алфавитом источника сообщений.

Отдельные состояния а1, а2, ..., аm называют буквами или символами алфавита.

Такая система может в каждый момент времени случайным образом принять одно из конечных множеств возможных состояний - аi. При этом говорят, что различные состояния реализуются вследствие выбора их источником.

Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем А, т. е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:

, причём (2.1)

Введем меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного возрастания с увеличением возможностей выбора, т. е. числа возможных состояний источника N, причем недопустимые состояния (состояния с вероятностями, равными нолю) не должны учитываться, так как они не меняют неопределенности.

Ограничиваясь только этим условием, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако в этом случае при N=1, когда неопределенность отсутствует, такая мера давала бы значение, равное единице. Кроме того, она не отвечает требованию аддитивности, состоящему в следующем.

Если два независимых источника с числом равновероятных состояний N и М рассматривать как один источник, одновременно реализующий пары состояний пi, mj., то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно N и M, то искомая функция должна удовлетворять условию:

f(MN) = f(M)+f(N). (2.2)

Соотношение (2.2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля А принять логарифм числа состояний:

(2.3)

Тогда при N = 1 Н(А) = 0 и требование аддитивности выполняется. Указанная мера была предложена американским ученым Р. Хартли в 1928 г. Основание логарифма в формуле (2.3) не имеет принципиального значения и определяет только масштаб или единицу измерения. В зависимости от основания логарифма применяют следующие единицы измерения:

  1. Биты — при этом основание логарифма равно 2:

(2.4)

  1. Наты - при этом основание логарифма равно е:

  1. Диты - при этом основание логарифма равно 10:

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то в информатике в качестве меры неопределенности обычно используют формулу (2.4). При этом единица неопределенности называется двоичной единицей, или битом, и представляет собой неопределенность выбора из двух равновероятных событий.

Формулу (2.4) можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один опыт и соответственно один бит информации, при неопределенности, состоящей из четырех равновероятных событий, достаточно двух бит информации, чтобы угадать искомый факт. Эти рассуждения можно продолжить: 3 бита информации соответствуют неопределенности из 8 равновероятных событий, 4 бита — 16 равновероятных событий и т. д. Например, для определения карты из колоды, состоящей из 32 карт, достаточно 5 бит информации, т. е. достаточно задать 5 вопросов с ответами «да» или «нет», чтобы определить искомую карту.

Таким образом, если сообщение указывает на один из n равновероятных вариантов, то оно несет количество информации, равное log2n. Действительно, из наших примеров log232 = 5, log216 = 4, log28 = 3 и т. д. Ту же формулу можно словесно выразить иначе: количество информации равно степени, в которую необходимо возвести число 2, чтобы получить число равновероятных вариантов выбора, т. е. 2I= 16, где I=4 (бита).

Предложенная мера позволяет решать определенные практические задачи, когда все возможные состояния источника информации имеют одинаковую вероятность.

В общем случае степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния, так как в этом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99).

Американский ученый К. Шеннон обобщил понятие меры неопределенности выбора Н на случай, когда Н зависит не только от числа состояний, но и от вероятностей этих состояний (вероятностей рi выбора символов ai. алфавита А). Эту меру, представляющую собой неопределенность, приходящуюся в среднем на одно состояние, называют энтропией дискретного источника информации.

(2.5)

Если снова ориентироваться на измерение неопределенности в двоичных единицах, то основание логарифма следует принять равным двум.

(2.6)

При равновероятных выборах все рi =1/N и формула (2.6) преобразуется в формулу Р. Хартли (2.3):

.

Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (2.5) совпадает с энтропией физической системы, определенной ранее Больцманом. Согласно второму закону термодинамики энтропия Н замкнутого

пространства определяется выражением: , где

МП — число молекул в данном пространстве; тi — число молекул, обладающих скоростью Так как тi./МП есть вероятность того, что молекула имеет скорость , то Н можно записать

Данная формула полностью совпадает с (2.5) - в обоих случаях величина Н характеризует степень разнообразия системы.

Используя формулы (2.4) и (2.6), можно определить избыточность D алфавита источника сообщений — А, которая показывает, насколько рационально применяются символы данного алфа­вита:

(2.7),

где Нmax(А) — максимально возможная энтропия, определяемая по формуле (2.4);

Н(А) — энтропия источника, определяемая по формуле (2.6).

Суть данной меры заключается в том, что при равновероятном выборе ту же нформационную нагрузку на знак можно обеспе­чить, используя алфавит меньшего объема, чем в случае с неравновероятным выбором.

Пример. Согласно экспериментальным данным безусловные вероятности букв русского и английского алфавитов характеризуются табл. 2.1 и 2.2 соответственно.

Требуется найти энтропии источников А1 и А2, выдающих текст из букв русского и английского алфавитов соответственно, при отсутствии статистических связей между буквами, а также вычислить избыточность источников, выдающих тексты, обусловленную неравновероятностью выбора букв.

Таблица 2. 1 Таблица 2.2

Бук­ва

Вероят­ность

Бук­ва

Вероят­ность

Бук­ва

Вероят­ность

Про­бел

0,2

H

0,047

W

0,012

Е

0105

D

0,035

G

0,011

T

0,072

L

0,028

B

0,010

O

0,065

C

0,023

V

0,008

F

0,063

F

0,023

K

0,003

N

0,058

U

0,023

X

0,001

I

0,055

M

0,021

J

0,001

R

0,052

P

0,018

Q

0,001

S

0,052

Y

0,012

Z

0,001


Бук­ва

Вероят­ность

Бук­ва

Вероят­ность

Бук­ва

Вероят­ность

Про­бел

0,175

К

0,028

Ч

0,012

O

0,090

М

0,026

И

0,010

Е

0,072

Д

0,025

X

0,009

А

0,062

П

0,023

Ж

0,007

И

0,062

У

0,021

Ю

0,006

Т

0,053

Я

0,018

Ш

0,006

Н

0,053

Ы

0,016

Ц

0,004

С

0,045

З

0,016

Щ

0,003

Р

0,040

ь, ъ

0,014

Э

0,002

В

0,038

Б

0,014

Ф

0,002

Л

0,035

Г

0,013

Решение. Найдем энтропии источников А1 и А2, используя фор­мулу (2.6):

(бит/символ).

(бит/символ).

По формуле (2.4) находим:

(бит/символ).

(бит/символ).

Избыточность источников находим по формуле (2.7):

Полученные результаты позволяют сделать вывод о том, что избыточность, а следовательно, и неравномерность распределения вероятностей букв источника А2 – латинского алфавита больше, чем у источника А1 – русского алфавита.

Меры информации семантического уровня

Для измерения смыслового содержания информации, т. е. ее количества на семантическом уровне, наибольшее распространение получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Действительно, для понимания и использования полученной информации получатель должен обладать определенным запасом знаний. Полное незнание предмета не позволяет извлечь полезную информацию из принятого сообщения об этом предмете. По мере роста знаний о предмете растет и количество полезной информации, извлекаемой из сообщения.

Если назвать имеющиеся у получателя знания о данном предмете «тезаурусом» (т. е. неким сводом слов, понятий, названий объектов, связанных смысловыми связями), то количество информации, содержащееся в некотором сообщении, можно оценить степенью изменения индивидуального тезауруса под воздействи­ем данного сообщения.

Тезаурус — совокупность сведений, которыми располагает пользователь или система.

Иными словами, количество семантической информации, извлекаемой получателем из поступающих сообщений, зависит от степени подготовленности его тезауруса для восприятия такой информации.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации Iс, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 2.1. Рассмотрим два предельных случая, когда количество семантической информации 1с равно 0:

  • при Sp = 0 пользователь не воспринимает (не понимает) поступающую информацию;

  • при Sp—>∞ пользователь «все знает», и поступающая информация ему не нужна.

Рис. 2.1. Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса 1с = f(Sp)

Максимальное количество семантической информации потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp (Sp = Sp opt), когда поступающая информация понятна пользователю и несет ему ранее неизвестные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.

При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и Sp.

Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему:

Еще один подход к семантическим оценкам информации, развиваемый в рамках науковедения, заключается в том, что в качестве основного показателя семантической ценности информации, содержащейся в анализируемом документе (сообщении, публикации), принимается количество ссылок на него в других документах. Конкретные показатели формируются на основе статистической обработки количества ссылок в различных выборках.

Меры информации прагматического уровня

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Она также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.

Одним из первых отечественных ученых к этой проблеме обратился А.А. Харкевич, который предложил принять за меру ценности информации количество информации, необходимое для достижения поставленной цели, т. е. рассчитывать приращение вероятности достижения цели. Так, если до получения информации вероятность достижения цели равнялась P1, а после ее получения — P0, то ценность информации определяется как логарифм отношения P1 / P0:

. (2.8)

Таким образом, ценность информации при этом измеряется в единицах информации, в данном случае в битах.

Выражение (2.8) можно рассматривать как результат нормировки числа исходов. В пояснение на рис. 2.2 приведены три схемы, на которых приняты одинаковые значения Р0=2, Р, = 6. Исходное положение — точка 0. На основании полученной информации совершается переход в точку 1. Цель обозначена крестиком. Благоприятные исходы изображены линиями, ведущими к цели. Определим ценность полученной информации во всех трёх случаях:

а) число благоприятных исходов равно трем: р0=1/2, р1 =3/6= 1/2 и, следовательно,

;

б) имеется один благоприятный исход: р0=1/2, р1= 1/6,

;

в) число благоприятных исходов равно четырем: р0=1/2, р1= 4/6 = 2/3,

Рис. 2.2. К вопросу о ценности информации:

а) I= 0; б)I=-1,58 (дезинформация); в) I = 0,42

В примере б) получена отрицательная ценность информации (отрицательная информация). Такую информацию, увеличивающую исходную неопределенность и уменьшающую вероятность достижения цели, называют дезинформацией. Таким образом, в примере б) мы получили дезинформацию в 1,58 двоичной единицы.

Дальнейшее развитие данного подхода базируется на статистической теории информации и теории решений. Сущность метода состоит в том, что, кроме вероятностных характеристик неопределенности объекта, после получения информации вводятся функции штрафов или потерь и оценка информации производится в результате минимизации потерь. Максимальной ценностью обладает то количество информации, которое уменьшает потери до ноля при достижении поставленной цели.