2. Базовые технологии и основные этапы развития машинной обработки данных

2.1. Введение в технологии машинной обработки данных и основные определения

Реальные базы данных промышленного масштаба содержат миллио­ны записей, данные которых описывают состояния и взаимосвязи многих и многих объектов реального мира. Требования, предъяв­ляемые пользователями к автоматизированным или автоматическим системам, обрабатывающим эти данные, обусловливают и требова­ния к параметрам подсистем внешней памяти, в первую очередь, предполагают высокую оперативность доступа.

Важной особенностью здесь является то, что архитектура систем и технологий управления данными непосредственно связана с дву­мя следующими значительными, хотя и противоположными обстоя­тельствами:

• непредсказуемой вариантностью представления данных в при­кладной программе, зависящей от разнообразных особенно­стей пользовательских задач;

• жесткостью технических решений устройств внешней памяти, выражающейся в функциональной простоте¹⁰ операций и ог­раниченности форм представления данных.

Высокая эффективность решений в области обработки данных достигается введением промежуточных слоев специализированных технических и программных средств. Характер проблем и архитек­турно-технологические решения такого рода достаточно полно ил­люстрируются приведенной на рис. 2.1 примерной схемой реализа­ции операций ввода-вывода — взаимодействия прикладной про­граммы с компонентами операционной системы и устройствами внешней памяти. Здесь специализация компонент выражается в том, что по существу каждый из них реализует различные способы рабо­ты с потоком данных (и в частности, его фрагментацию на блоки), что и обеспечивает, с одной стороны, необходимый уровень деком­позиции и идентификации логических/физических записей, а с дру­гой — независимость физического и логического уровней представ­ления данных.

Здесь термины логический и физический отражают различия ас­пектов представления данных. Логическое представление указывает на то, как данные используются в прикладной программе, т. е. отра­жают логику обработки. Физическое представление — это то, как данное хранятся на физическом носителе.

Будем считать логической записью идентифицируемую (имено­ванную) совокупность элементов или агрегатов данных, восприни­маемую прикладной программой как единое целое при обмене ин­формацией с внешней памятью (по крайней мере, для операций ввода-вывода).

Физической записью будем считать совокупность данных, кото­рая может быть считана или записана как единое целое одной ко­мандой ввода-вывода. Важно, что для компонент различного уровня в технологической цепи ввода-вывода состав и структура физиче­ской записи может быть разной.

Рис. 2.1. Примерная схема организации ввода-вывода

Структура данных и их взаимосвязь в случаях логического и физического представления могут не совпадать. Например, а) одна физическая запись может включать несколько логических; б) порядок следования элементов данных в физической записи может быть из­менен для оптимизации использования пространства памяти. То есть, если логическая структура может варьироваться в широком диапазоне и даже представляться, например, вариантными записями, то физическая — практически всегда представлена жесткой структурой, причем в значительной степени определяемой типом носителя.