Измерение информации

Из курса физики вы знаете, что прежде, чем измерять значение какой-либо физической величины, надо ввести единицу измерения. У информации тоже есть такая единица - бит, но смысл ее различен при разных подходах к определению понятия “информация”.

Существует несколько разных подходов к проблеме измерения информации.

Содержательный подход. Информация как новизна

Можно ли сказать, что чем больше книга, тем больше информации она содержит?

Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.

Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.

Вероятностный подход

Измерение информации в теории информации (информация как  снятая неопределенность).

Сообщение, уменьшающее неопределенность знаний человека в два раза, содержит один бит информации.

Пример 1. Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка?

Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. Сообщение о том, что при броске монеты выпал «герб», содержит один бит информации (из двух возможных вариантов выбран один – неопределенность «какой из двух?» уменьшена в два раза).

Пример 2. Студент на экзамене может получить одну из четырех оценок: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Причем, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». После экзамена на вопрос: "Что получил?" студент ответил: "Пять!". Сколько бит информации содержится в его ответе?

Чтобы подсчитать количество информации надо сокращать неопределенность знаний вдвое. Имеется 4 равновероятных исхода. В первый раз определим «2 или 3» или «4 или 5» (1 бит информации). Второе деление определит полученную оценку (еще 1 бит). Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.

А можно в первое деление поинтересоваться «3 или 4»? Конечно можно. Если ответом будет «нет», то ясно, что оценка «2 или 5» и второе деление определит оценку.

А можно в первое деление поинтересоваться «Ты получил 3»? Можно, и, если повезет, мы за одно деление узнаем результат. А если не повезет, то придется выбирать из части «2 или 4 или 5» и провести еще два деления (всего три деления), чтобы узнать результат экзамена. Деление на равные части гарантированно дает наименьшее количество делений в самом плохом случае.