Задания для повторения Технический аспект измерения информации

1. Измерьте информационный объем сообщения «Ура! Закончились каникулы!!» (с точки зрения технического подхода, т.е. не учитывая смысл сообщения).

2. Измерьте примерную информационную емкость 1 страницы учебника, всего учебника.

3. Сколько таких учебников может поместиться на дискете емкостью 360 Кбайт, 1,44 Мбайт, на винчестере в 420 Мбайт?

4. В 100 Мб можно уместить:

Страниц текста 50 000 или 150 романов

Цветных слайдов высочайшего качества 150

Аудиозапись речи 1,5 часа

Музыкальный фрагмент качества СD-стерео 10 минут

Фильм высокого качества записи 15 секунд

Протоколы операций с банковским счетом за 1000 лет

Информация как снятая неопределенность

1. Сколько следует задать вопросов и как их следует формулировать, чтобы оценить сообщение о том, что вагон стоит на одном из 16 путей?

2. Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?

Интересный факт

На памятнике немецкому ученому Л. Больцману высечена формула, выведенная в 1977г. и связывающая вероятность состояния физической системы и величину энтропии этой системы. Энтропия (грек. en- в, внутрь + trope- превращение, буквальный перевод: то, что внутри, неопределенно)- физическая величина, характеризующая тепловое состояние тела и системы, мера внутренней неупорядоченности системы. Так вот, формула для энтропии Больцмана совпадает с формулой, предложенной Шенноном для среднего количества информации, приходящейся на один символ в сообщении. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации энтропией. С тех пор слово «энтропия» стало, чуть ли не синонимом слова «информация».

Чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Уменьшая неопределенность, мы получаем информацию, в этом весь смысл научного познания.

Различные подходы к определению и измерению информации.

Подход к определению		Подход к измерению
В быту	Разнообразные сведения, сообщения, их новизна	Новизна не измеряется
В технике	Сообщение, передаваемые в форме знаков и сигналов	Информационная емкость равна количеству символов
В теории связи	Снятая неопределенность (К. Шеннон)	Количество информации
В теории информации	Увеличение объема знаний	В данном курсе не рассматривается
В теории принятия решений	Увеличение вероятности достижения цели
В кибернетике (теория управления)	Часть знания, используемая в управлении
В теории отражения	Результат отражения, отраженное разнообразие