Формула Шеннона

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при бросании вероятности выпадения «орла» и «решки» будут различаться.

Формулу для вычисления количества информации для событий с различными вероятностями предложил К.Шеннон в 1948 году. В этом случае количество информации определяется по формуле: ,

где I – количество информации,

N – количество возможных событий,

p_i - вероятности отдельных событий.

Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут следующими:

P1 = 1/2, Р2= 1/4, Р3 = 1/8, P4 = 1/8, тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле 2.2:

I = -(l/2*log1/2 + l/4*log1/4 + l/8*log1/8 + l/8*log1/8)бит = (1/2 + 2/4 + 3/8 + 3/8) бит = 14/8 бит = 1,75 бит.

Для частного, но широко распространенного случая, когда события равновероятны

(p_i = 1/N), величину количества информации I можно рассчитать по формуле:

Алфавитный подход (кибернетический).

С другой стороны, всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмагорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является объективным. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще.

Объективным способом измерения информации является алфавитный подход т.е. он не зависит от субъекта, воспринимающего сообщение. Только алфавитный подход пригоден при использовании технических средств работы с информацией. В этом случае количество информации зависит от объема текста и от мощности алфавита.

Мощность алфавита – это число символов в нем.

Выясним, сколько символов можно закодировать с помощью двух знаков.

Возможных случаев 4: 00, 01, 10, 11.

Если использовать 3 знака, то можно закодировать 8 символов: 000, 001, 010, 011…

Мощность алфавита, который используется в компьютере, равна 256. в таком алфавите можно поместить практически все необходимые символы:

Буквы: 33(русские, большие) + 33(русские, малые) + 26(англ., большие) + 26(англ., малые)

Цифры: 10 (от 0 до 9)

Знаки: 12 (знаки препинания) + 15(скобки и остальные знаки).

Чтобы закодировать такое количество символов, необходима последовательность из 8 знаков.

Т.о. один символ такого алфавита содержит количество информации равное 8 бит. Количество в 8 битах оказалась очень удобной величиной для измерения и кодирования, для нее придумали отдельной название – 1 байт.

Количество информации, содержащейся в символьном сообщении, равно К×i , где К – число символов в тексте сообщения, а i – информационный вес символа, который находится из уравнения 2i=N, где N – мощность используемого алфавита.

1 байт = 8 бит = 1 символу.

Т.о. каждому символу соответствует свой определенный восьмизначный двоичный код ASCII-код. Например, закодируем слово «мир».

«М» имеет код 11101101, «И» – 11101001, «Р» – 11110010.

Таким образом, слово «МИР» кодируется последовательностью из 24 бит.

Но 1 бит слишком маленькая единица измерения. На практике используются более крупные единицы:

Другие единицы измерения информации:

1 килобайт (Кб) = 2¹⁰ байт = 1024 байта;

1 мегабайт (Мб) = 2²⁰ байт = 1024 Кб;

1 гигабайт (Гб) = 2³⁰ байт = 1024 Мб.

1 терабайт (Тб) = 2⁴⁰ байт

Задача1. Подсчитайте количество информации:

а) на странице учебника, имеющей 50 строк по 60 символов?

б) во всем учебнике, если в нем 150 страниц?

Задача 2. Сколько килобайт составляет сообщение, содержащее 12288 битов?

Задача 3. Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту.