3. Измерение информации в теории информации (информация как снятая неопределенность)

• Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: «Любишь?». В ответ приходит не менее лаконичная телеграмма: «Да!». Сколько информации несет ответная телеграмма? Альтернатив здесь две – либо «да», либо «нет». Их можно обозначить символами двоичного кода – 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать всего одним двоичным символом.

Можно ли сказать, что ответная телеграмма несет одну единицу информации?

Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

• Книга лежит на одной из двух полок – верхней или нижней. Сообщение о том, что книга лежит на верхней полке, уменьшает неопределенность ровно вдвое.

В простейшем случае выбор одного из двух сообщений («да» или «нет» «1» или «0») принимают за единицу информации. Она названа, бит, что означает двоичная цифра. Вопрос ценности этой информации для получателя – это уже из иной области.

• Сообщение о том, как упала монета после броска –«орлом» или «решкой», несет 1 бит информации.

• Известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома есть число четное, уменьшило неопределенность. Получив такую информацию, мы стали знать больше, но информационная неопределенность осталась, хотя и уменьшилась.

Почему в этом случае мы не можем сказать, что первоначальная неопределенность уменьшилась вдвое (иными словами, что мы получили 1 бит информации)?

Если вы не знаете ответа на этот вопрос, предьставте себе улицу, на четной стороне которой, например, четыре дома, а на нечетной – двадцать. Такие улицы не такая уж большая редкость.

• Сообщение о том, что на светофоре красный сигнал, несет в себе информации больше чем бит. Попробуйте объяснить почему.

• Пусть имеется колода из 32 игральных карт (от семерок до тузов). Задумывается одна из карт. Необходимо задавая вопросы, на которые будут, даны ответы «да» или «нет», угадать задуманную карту.

Первый вопрос: « Задумана карта черной масти?» Ответ: «Нет».

Ответ уменьшает неопределенность вдвое и приносит отгадывающему 1 бит информации.

Второй вопрос: « Задумана карта бубновой масти?» Ответ «Да».

Это еще 1 бит информации, исходная неопределенность уменьшилась в 4 раза.

Третий вопрос: «Задумана карта – картинка?» Ответ: «Нет»

Третий бит информации, первоначальная неопределенность уменьшилась в 8 раз.

Четвертый вопрос: «Задуманная карта младше девятки?» Ответ: «Да»

Еще один бит информации, первоначальная неопределенность уменьшилась в 16 раз.

Пятый вопрос: «Задуманная восьмерка бубновая?» Ответ: «Нет». Отгадывающий получил пятый бит информации, исходная неопределенность уменьшилась в 32 раза. Последний ответ позволяет с уверенностью сказать, что была задумана бубновая семерка. Неопределенности не осталось.

Очень приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать. Чтобы получить ту же информацию, ответ на эти вопросы быть лишь «да» или «нет». Причем событие, о котором идет речь, должно иметь равновероятные исходы (монета может упасть только «орлом» или «решкой» – два равновероятных исхода и т.п.).

Данное определение количества информации слишком упрощено.

Вернемся к примеру о влюбленном. Если влюбленный уверен в положительном ответе, то ответ «да» почти не даст ему никакой новой информации. То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ «нет» также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ «да» безнадежному влюбленному (нечаянная радость) несет сравнительно много информации, настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а может быть, его судьба! (Вы помните, что информация нам нужна для принятия решений.) Таким образом, количество информации зависит от вероятности получения данного ответа. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.

Классный руководитель сообщил вам, что как обычно после этого урока будет перемена. (Так как вероятность этого события велика, то количество информации в нем мало.)

• Классный руководитель сообщил вам, что на перемене будут бесплатно раздавать апельсины, бананы, ананасы. (Так как данное событие маловероятно, то количество информации в нем для вас велико.)

Материал для запоминания

В технике (теория кодирования и передачи сообщений) под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Бит – двоичный знак двоичного алфавита 0,1. Бит - минимальная единица измерения информации.

Байт – единица количества информации в системе СИ. Байт – это восьмиразрядный двоичный код, с помощью которого можно представить один символ.

При вводе в ЭВМ символа с клавиатуры машине передается 1 байт информации.

Единицы измерения информации в вычислительной технике
1 бит
1 байт	8 бит
1 Кбайт (килобайт)	210 байт=1024 байт	~1 тыс. байт
1 Мбайт (мегабайт)	210Кбайт=220байт	~1 млн. байт
1 Гбайт (гигабайт)	210Мбайт=230байт	~1 млрд. байт

Информационный объем сообщения (информационная емкость сообщения) – количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т.д.).

В теории информации количеством информации называют числовую характеристику сигнала, не зависящую от его формы и содержания и характеризующую неопределенность, которая исчезает после получения сообщения в виде данного сигнала. В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

Для абсолютно достоверного события (события обязательно произойдет, поэтому его вероятность равна 1 количество вероятности в сообщении о нем равно 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.

Лишь при равновероятных ответах ответ «да» или «нет» несет 1 бит информации.