Юникод. Utf-8

Теоретически давно существует решение этих проблем. Оно называется Unicode (Юникод). Unicode – это кодировочная таблица, в которой для кодирования каждого символа используется 2 байта, т.е. 16 бит. На основании такой таблицы может быть закодировано N=2¹⁶=65 536 символов.

Юникод включает практически все современные письменности, в том числе: арабскую, армянскую, бенгальскую, бирманскую, греческую, грузинскую, деванагари, иврит, кириллицу, коптскую, кхмерскую, латинскую, тамильскую, (Китай, Япония, Корея), чероки, эфиопскую, японскую и другие.

С академической целью добавлены многие исторические письменности, в том числе: древнегреческая, египетские иероглифы, клинопись, письменность майя, этрусский алфавит.

В Юникоде представлен широкий набор математических и музыкальных символов, а также пиктограмм.

Юникода UTF-8 (Unicode Transformation Format). UTF-8 обеспечивает наилучшую совместимость с системами, использующими 8-битные символы. Текст, состоящий только из символов с номером меньше 128, при записи в UTF-8 превращается в обычный текст ASCII. Остальные символы Юникода изображаются последовательностями длиной от 2 до 4 байтов. В целом, так как самые распространенные в мире символы – символы латинского алфавита - в UTF-8 по-прежнему занимают 1 байт, такое кодирование экономичнее, чем чистый Юникод.

Пример: В текстовом файле хранится текст объемом в 400 страниц. Каждая страница содержит 3200 символов. Если используется кодировка KOI-8 (8 бит на один символ), то размер файла составит:

• 1 Mb;

• 1,28 Mb;

• 1280 Kb;

• 1250 Kb.

Решение

1) Определяем общее количество символов в текстовом файле. При этом мы представляем числа, кратные степени числа 2 в виде степени числа 2, т.е. вместо 4, записываем 22 и т.п. Для определения степени можно использовать Таблицу.

символов.

2) По условию задачи 1 символ занимает 8 бит, т.е. 1 байт => файл занимает 2⁷*10000 байт.

3) 1 килобайт = 2¹⁰ байт => объем файла в килобайтах равен:

.

Байт - последовательность из 8 бит.

1 байт = 2³ бит = 8 бит.

На основании одного байта можно получить 2⁸=256 уникальных двоичных кодов.

В современных кодировочных таблицах под хранение информации о коде каждого символа отводится 1 байт.

1 символ = 1 байт.

В байтах измеряется объем данных (V) при их хранении и передаче по каналам связи. Например, текст “Добрый день!” занимает объем равный 12 байтам.

Биты в байте нумеруются с конца с 0-го по 7-й. Минимальная комбинация на основании одного байта – восемь нулей, максимальная – восемь единиц.

11111111₍₂₎=2⁷+2⁶+2⁵+2⁴+2³+2²+2¹+2⁰=128+64+32+16+8+4+2+1=255₍₁₀₎

Задание:

Задание 1.

Пример: В текстовом файле хранится текст объемом в 400 страниц. Каждая страница содержит 3200 символов. Если используется кодировка KOI-8 (8 бит на один символ), то размер файла составит: Выберите возможный вариант ответа:

1 Mb; 1,28 Mb; 1280 Kb; 1250 Kb.

Докажите решением.

Задание 2.

Выберите вариант, в котором объемы памяти расположены в порядке убывания

1010 байт 1 кбайт 2 байта 20 бит 10 бит

1 кбайт 1010 байт 20 бит 2 байта 10 бит

1010 байт 1 кбайт 20 бит 2 байта 10 бит

1010 байт 2 байта 1 кбайт 20 бит 10 бит

Задание 3.

Укажите упорядоченную по возрастанию последовательность значений

30 бит 3 байта 4 байта

4 байта 30 бит 3 байта

3 байта 30 бит 4 байта

3 байта 4 байта 30 бит

Задание 4.

Выберите возможный вариант ответа:

Числу 45610 соответствует -

1 Mb; 1С816

0100.1010.01102-10

111100112

7158

Задание 5.

При сложении шестнадцатеричных чисел ВА6 и А…С получено шестнадцатеричное число 15F2. Это означает, что во втором слагаемом пропущена цифра…

5

А

4

3

9