Формы представления данных. Единицы измерения информации и объёма данных.

Для измерения информации можно воспользоваться мерой неопределённости. Неопределённость означает принятие решений на основании неполной, противоречивой, обрывочной и другой информации, не позволяющей утверждать, что сформулированное решение правильное. Принятой мерой неопределённости системы является энтропия, обозначаемая как . После получения сообщения энтропия системы может либо уменьшаться, либо увеличиваться, либо не изменяться. Количество информации, содержащимся в сообщении , равно:

Для вычисления энтропии системы, имеющей возможных состояний, можно воспользоваться формулой Шеннона:

где — вероятность того, что система находится в состоянии -м.

Основание логарифма определяет единицу измерения величины , равной одному биту, при и , что соответствует основанию логарифма 2.

Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).

Поскольку биты записываются в виде последовательности нулей и единиц, их последовательность позволяет кодировать всю информацию в двоичной системе исчисления. Наибольшее число, которое можно записать в двоичной системе исчисления, содержит единиц, где N — число используемых для кодирования символов. Например, если имеется 8 двоичных цифр, то можно закодировать символов.

Группу из 8 бит называют байтом, он позволяет закодировать группу из 256 символов. Информация в компьютере находится в двоичной, а не в десятичной системе счисления, поэтому её объёмы измеряются в байтах.

Существует стандарт, определяющий множество допустимых символов и их кодов (ASCII — American Standard Code for Information Interchange). В нём содержатся 128 основных символов и 128 дополнительных. Как правило, в состав дополнительных символов входят национальный алфавиты разных стран.

В Windows используются коды ANSI и UNICODE. Код ANSI восьмиразрядный, но он не совпадает с ASCII, а UNICODE является шестнадцатиразрядным, что позволяет кодировать символов. Такое количество символов позволяет закодировать большинство языков мира.

Диапазон и точность представления чисел.

В памяти типовой компьютерной системы целое число представлено в виде цепочки битов фиксированного (кратного 8) размера. Эта последовательность нолей и единиц — нечто иное, как двоичная запись числа, поскольку обычно для представления чисел в современной компьютерной технике используется позиционный двоичный код. Диапазон целых чисел, как правило, определяется количеством байтов в памяти компьютера, отводимых под одну переменную.

Многие языки программирования предлагают выбор между короткими, длинными и целыми стандартной длины. Длина стандартного целого типа, как правило, совпадает с размером машинного слова на целевой платформе, для 32-разрядных операционных систем она будет равна 4 байтам. Длинное целое в этом случае, скорее всего, будет занимать 8 байт, короткое — 2.

Целые типы подразделяются на беззнаковые и знаковые.