Основные свойства условной энтропии

1. Если сообщения X и Y статистически независимы, то условная энтропия сообщений Y относительно X равна безусловной энтропии сообщений Y: H(Y/X)=H(Y). В этом случае вся информация, которую содержат сообщения Y, является новой по отношению к информации, содержащейся в сообщениях X.

В самом деле, если сообщения X и Y статистически независимы, то p(y_j/x_i)=p(y_j) и общая условная энтропия может быть записана в форме

Так как сумма вероятностей всех состояний Х равна единице , то или Р(Y/X)=Р(Y).

2. Если сообщения X и Y являются статистически жестко связанными, то условная энтропия сообщений Y относительно X равна нулю H(Y/X)=0. Это означает, что сообщения Y не содержат никакой новой информации сверх той, которая содержится в сообщениях Х.

3. Условная энтропия всегда меньше безусловной энтропии H(Y/X)<H(Y).

В случае если имеются n - зависимых систем, энтропия объединения будет равна:

H(X₁; X₂; X₃; . . . ;X_n ) = H(X₁)+H(X₂ /X₁ )+H(X₃ /X₁ X₂ ) + . . . +H(X_n / X ₁X ₂. . . X_n). Энтропия первой системы входит полностью, энтропия второй системы с учетом того, что первая определена, третей - первые две определены и т.д.

Количественные аспекты информации

Количество информации по Хартли и Шеннону

Понятие количество информации отождествляется с понятием информация. Эти два понятия являются синонимами. Впервые дать меру количества информации попытался в 1928г. Р.Хартли. Он исходил из того, что количественная мера информации должна согласовываться с интуитивным представлением о содержании информации в сообщении (сигнале). Что, например, чем длиннее телеграмма, тем больше информации она обычно содержит. Следовательно, мера информации должна монотонно возрастать с увеличением длительности сообщения (сигнала), которую естественно измерять числом символов в дискретном сообщении и временем передачи в непрерывном случае. Кроме того, на содержание количества информации должны влиять и статистические характеристики, так как сигнал должен рассматриваться как случайный процесс.

При этом Хартли наложил ряд ограничений:

1. Рассматриваются только дискретные сообщения.

2. Множество различных сообщений конечно.

3. Символы, составляющие сообщения равновероятны и независимы.

В этом простейшем случае число N различных сообщений длиною в k символов из алфавита содержащего m символов, равно m^k. Пусть, например, алфавит состоит из трех символов: a, b, c, а k=2. Тогда количество различных сообщений будет составлять N=3²=9. Это будут aa, ab, ac, ba, bb, bc, ca, cb, cc. Если k=3 то мы уже получим N=3³=27 различных сообщений. То есть с увеличением длительности сообщений растет и количество информации. И в этом случае, казалось бы, в качестве меры информации можно было бы взять число N различных сообщений. Но Хартли указал, что экспоненциальная зависимость N от k не позволяет использовать величину N в качестве меры информации. Хартли впервые предложил в качестве меры количества информации принять логарифм числа возможных последовательностей символов.

I=log m^k=log N (1.9)

К.Шеннон попытался снять те ограничения, которые наложил Хартли. На самом деле в рассмотренном выше случае равной вероятности и независимости символов при любом k все возможные сообщения оказываются также равновероятными, вероятность каждого из таких сообщений равна P=1/N. Тогда количество информации можно выразить через вероятности появления сообщений I=-log P. Далее Шеннон рассуждал следующим образом.

Пусть вероятность i - го символа (i=1,2,…,m) равна p_i. Символы образуют полную группу событий, то есть, Чтобы сообщения были равновероятными, необходим чтобы относительные частоты появления отдельных символов во всех возможных сообщениях были равны. При ограниченной длине сообщений - это условие не выполняется. Но при достаточно длинных сообщениях условие равной вероятности возможных сообщений будет, приближенно выполнятся.

В силу статистической независимости символов, вероятность сообщения длиной в k символов равна . Если i-й символ повторяется в данном сообщении k_i раз, то , так как при повторении i символа k_i раз k уменьшается до m. Из теории вероятностей известно, что, при достаточно длинных сообщениях (большое число символов k) k_i≈k·p_i и тогда вероятность сообщений будет равняться . Тогда окончательно получим (1.10)

Данное выражение называется формулой Шеннона для определения количества информации. Формула Хартли является частным случаем формулы Шеннона. В самом деле, при равновероятных символах, то есть при p_i=1/m формула Шеннона переходит в формулу Хартли:

Формула Шеннона для количества информации на отдельный символ сообщения совпадает с энтропией. Тогда количество информации сообщения состоящего из k символов будет равняться I=k·H.