Измерение информации

Единица измерения информации называется бит (аббревиатура от англ. «binary digit» – «двоичная цифра»). Наряду с битом используются производные величины – байт (обозначается Б, составляет 2³ бит), килобайт (обозначается КБ, составляет 2¹⁰ Байт), мегабайт (МБ, 2²⁰ Б), гигабайт (ГБ, 2³⁰ Б), терабайт (ТБ, 2⁴⁰ Б), также петабайт, эксабайт, зеттабайт, йоттабайт.

При измерении количества информации, содержащегося в некотором сообщении, обычно используются два метода: вероятностный и алфавитный.

Вероятностный подход

Вероятность – числовая характеристика возможности появления какого-либо события в определённых условиях.

(1)

Событием называется любой факт, который в результате опыта может произойти или не произойти по формуле:

,

где m – число случаев (благоприятных), при появлении которых должно совершиться событие A, а n – общее количество случаев. Вероятность любого события заключена в отрезке от 0 до 1.

(2)

Зависимость количества информации Ι от количества равновероятных событий Ν определяется по формуле Хартли:

Зависимость между вероятностью появления события p и количеством информации I в сообщении о данном событии описывается модифицированной формулой Хартли:

(3)

,

т. е. чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. (Здесь и ниже сообщение – некоторая последовательность чисел, с помощью которой закодирована информация.)

Ещё одна формула для измерения количества информации – формула Шеннона:

(4)

где I –КОЛИЧЕСТВО ИНФОРМАЦИИ, K – количество возможных событий, р_i – вероятности отдельных событий

Формулу Хартли можно рассматривать как частный случай формулы Шеннона:

.

Пример.

Определить количество информации, которое содержится в сообщении о результате броска монеты.

Решение.

Возможно два равновероятных результата броска монеты: монета упала на «орла» или на «решку». Следовательно, вероятности появления сообщений «монета упала на орла» или «монета упала на решку» одинаковы и равны . Вычислим количество информации в каждом сообщении о результате броска, используя формулу (3).:

Ответ: 1 бит.

Алфавитный подход

Алфавитный метод измерения информации основан на том, что любое сообщение можно закодировать в виде конечной последовательности символов некоторого алфавита. Например, двоичный алфавит содержит два символа (0 и 1), троичный – три символа (0, 1, 2). Существуют алфавиты и с большим количеством символов. Так, алфавит ASCII, используемый для представления символьной информации, включает 256 элементов, а алфавит кодировки UNICODE – 65 536 элементов.

К

(5)

оличество различных сообщений N длиной в I символов, которые можно написать с помощью алфавита из q символов, оценивается с помощью формулы:

.

К

(6)

оличество символов в алфавите q при этом называется мощностью алфавита:

.

(7)

Количество символов I, используемых для записи N сообщений с помощью алфавита мощностью q символов, вычисляется по формуле:

.

Каждому символу в компьютере соответствует последовательность из 8 нулей и единиц, называемая байтом.⁴

СИСТЕМЫ СЧИСЛЕНИЯ

ПОНЯТИЕ

Система счисления (сокращённо с.с.) – это знаковая форма записи чисел, представление числа с помощью письменных знаков. Представление чисел в ЭВМ основано на понятии «система счисления».

ТИПЫ СИСТЕМ СЧИСЛЕНИЯ

Непозиционные

Непозиционные системы счисления – такие, в которых количественный эквивалент каждой цифры не зависит от положения её в записи числа.

Примеры:

1. Единичная (1₁₀ = |; 5₁₀ = ||||| и т. д.);

2. Д ревнеегипетская десятичная (1₁₀ = 1, 10₁₀ = , 100₁₀= ,1000₁₀ = );

3. Римская (1₁₀= I, 5₁₀ = V, 10₁₀ = X, 50₁₀ = L, 100 ₁₀= C, 500 ₁₀= O, 1000₁₀ = = M);

4. Древнерусская (над буквой ставился знак ¯ – «титло»; 10₁₀ = 100₁₀ = , 500₁₀ = ).