Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Конспект Лекций.doc
Скачиваний:
10
Добавлен:
01.07.2025
Размер:
5 Мб
Скачать
☆

Кодирование текста

По мере развития вычислительной техники возникла необходимость работы с текстом. Для представления текстовой информации были разработаны таблицы кодирования текста, согласно которым каждый текстовый символ кодируется (представляется) определенной цифровой последовательностью.

Одной из первых и наиболее известных таблиц кодирования текстовой информации стала ASCII (American Standard Code for Information Interchange). Размер таблицы определялся необходимостью представления:

  • 26 букв английского алфавита (строчных),

  • 26 прописных букв английского алфавита,

  • 9 знаков препинания (. , : ! " ; ? ( ) ), пробел,

  • 10 цифр,

  • 5 знаков арифметических действий (+,-,*, /, ^)

  • специальных символов (№ % _ # $, и так далее ^, &, >, <, |, \).

Из количества перечисленных символов (около ста) был определен размер таблицы. Под каждый символ отводится по 7 бит (27=128). Таблица ASCII приведена на рисунке (смотри Рисунок 12). Из рисунка видно, что в таблице отсутствуют коды с 0 по 31. Эти коды предназначены для управляющих символов; их функция – управление процессом вывода текста на экран или печать, подача звукового сигнала, разметка текста и т.п. Из таблицы также видно, что старший восьмой бит остался неиспользованным.

ASCII изначально предполагалась для кодирования английского алфавита. Таким образом, с внедрением информационных технологий в неанглоязычные страны изначально предусмотренных символов стало не хватать.

Как решение проблемы был использован резервный восьмой бит. Новая таблица кодировок получила название "расширенная таблица ASCII" и позволила закодировать 256 символов.

Рисунок 12. Таблица ACSII.

Ознакомиться с таблицей ASCII, кодирующей русский алфавит можно в Интернет, например по адресу http://ascii.org.ru/ или http://school497.ru/download/u/02/les10/les.html.

Впоследствии появился стандарт IS 8859, в котором вводилось понятие "кодовая страница", определяющая язык или группу языков. Русский кодировки ISO 8859-5.

Стандарт IS 8859 с введением кодовых страниц не решал вопросы кодирования текста: основными его минусами были:

  • Программное обеспечение должно было отслеживать кодовые страницы для корректности отображения текста.

  • Использование различных языков в одном документе не было возможным

  • Кодовые страницы японского и китайского языков просто не были предусмотрены.

Помимо ISO 8859-5 для кодирования русского алфавита были созданы и использовались:

  • КОИ8 ("Код обмена информацией, 8-битный); разработан в нашей стране в 70-ые годы для компьютеров серии ЕС ЭВМ.

  • CP866 (Code Page - кодовая страница); кодировка операционной системы MS DOS (начало 80х до 90-х годов).

  • CP1251 (Code Page 1251 или Windows-1251) кодировка операционной системы Microsoft Windows).

  • У компьютеров фирмы Apple, была собственная кодировка Mac.

Естественно, подобное многообразие различных таблиц затрудняло распознавание закодированного текста: не всегда программные средства одного компьютера корректно распознавали используемую кодировку и могли перекодировать текст.

В результате в конце 90-х годов вводится новый международный стандарт Unicode, в котором под каждый символ отводилось 2 байта (16 бит). Общее количество кодируемых символов 216 = 65536.

Детально ознакомиться с таблицей Unicode можно по Интернет-адресу http://unicode-table.com/ru/ (смотри Рисунок 13).

Рисунок 13. Таблица кодирования текста Unicode.

История повторяется: со временем выделенного Unicode пространства стало не хватать на алфавиты всех стран мира (в частности азиатские страны).

Решать вопрос наращиванием количества разрядов нерационально: символ «в», представляемый в шестнадцатибитной версии Unicode как «0000 0100 0011 0010» (пробелы указываются для зрительного восприятия), в тридцатидвухбитной версии Unicode будет выглядеть как «0000 0000 0000 0000 0000 0100 0011 0010».

Unicode пошел по пути использования кодировок с переменной длиной кодов: количество занимаемых байтов, зависит от позиции символа в таблице. Символы американского алфавита могут быть закодированы одним байтом, для русского алфавита требуется 2 байта, символы азиатских стран могут использовать 4 байта. В настоящее время в Unicode поддерживается:

  • 32-битная форма (UTF-32), под каждый символ отводится 32 бита = 4 байта. Полностью совместима с UTF-16 и UTF-8,

  • 16-битная форма (UTF-16),

  • 8-битная форма (UTF-8): была разработана для совместимости с ASCII.

Полная спецификация стандарта включает в себя помимо символов алфавита всех стран множество математических, музыкальных, химических символов, а также и искусственно созданные алфавиты мира.

Задание: закодировать текст «Архитектура ЭВМ» в кодировке ASCII и кодировке UNICODE. Сравнить объем полученного кода.