42. Физическая организация баз данных. Файлы: последовательные, с прямым доступом, с хеш-адресацией, индексно-последовательные, в-деревья.
Методы доступа – совокупность технических и программных средств, обеспечивающих возможность хранения, выборки данных, расположенных во внешней памяти.
Существуют три группы методов доступа:
Последовательные;
Индексные;
Адресные.
Последовательные методы доступа. Предполагается, что для доступа к i-ой записи нужно просмотреть все i-1 записи. Первая запись имеет фиксированный адрес имеются несколько разновидностей этого метода. Первые три характеризуются тем что данные располагаются на смежных участках памяти, остальные используют понятие списков.
Списком называют множество записей последовательная обработка которых задается указателями. Списки позволяют соединить разрозненные участки памяти.
Последовательный доступ с фиксированной длиной записи.
Ai = A0 + (i - 1)L
Если записи располагаются в оперативной памяти, то это массив. Если записи расположены на диске, то порядок ввода/вывода данных зависит от языка программирования. Обычно допускается перебор записей от начал до конца.
Последовательный доступ с записями переменной длины. В этом случае каждая запись содержит значение длины записи.
L1
L2
L1
Данные
Данные
Данные
Последовательный доступ с записями неопределенной длины. В этом случае в конец каждой записи помечается определенным символом.
!
Данные
Данные
Данные
!
Простой линейный список.
Со встроенными указателями
1
Y1
Данные
Данные
Y2
Данные
Y3
С внешними указателями
Y1
Y2
Y3
Данные
Данные
Данные
1
Циклический однонаправленный список. Связь от последней записи идет к первой, поэтому доступ можно получить к любой записи начиная с любой записи
Y1
Данные
Данные
Y2
Данные
Y3
1
*
*
*
Двунаправленный список. Каждая запись имеет два указателя.
Y1
Данные
Данные
Y2
Данные
Y3
1
*
*
*
Индексные методы доступ. В дополнение к основному файлу создается индексный файл, который содержит значения ключей. Индексный файл упорядочен по значению ключа.
Метод доступа с полным индексом. Используется, когда основной файл не очень велик.
Основной файл
a
b
c
100
200
300
Индексный файл
a
b
c
100
200
300
Замечания: Если надо упорядочить исходный файл по нескольким ключам, то для него создается столько же индексных файлов. Т.к. значения вторичных ключей не уникальны, то индексный файл организуется по методу b) или c) последовательного доступа. Основной эффект с инвертированным массивом (вторичные ключи) применяется при поиске файлов по нескольким условиям. Алгоритм поиска строится так чтобы обращаться к индексным файлам. Наибольший эффект достигается тогда, когда индексный файл помещается в оперативной памяти.
Индексно-последовательный. Основной файл всегда упорядочен по первичному ключу, индексный файл содержит не на каждую запись как c) или d), а на группу или блок записей, т.е. на значение одного из ключей группы. Повторение ключей в группе недопустимо. В группе должно быть одинаковое число записей. Обычно при таком подходе индексный файл ещё меньше.
Замечание: Поскольку индексный файл также упорядочен по ключу, то к нему можно применить ту же идею и для него построить индексный файл и т.д. пока на самом верхнем уровне не окажется один. Такая структура называется В-деревом.
Наиболее популярным подходом к организации индексов в базах данных является использование техники B-деревьев. С точки зрения внешнего логического представления B-дерево - это сбалансированное сильно ветвистое дерево во внешней памяти. Сбалансированность означает, что длина пути от корня дерева к любому его листу одна и та же. Ветвистость дерева - это свойство каждого узла дерева ссылаться но большое число узлов-потомков. С точки зрения физической организации B-дерево представляется как мультисписочная структура страниц внешней памяти, т.е. каждому узлу дерева соответствует блок внешней памяти (страница). Внутренние и листовые страницы обычно имеют разную структуру.
Поиск в B-дереве - это прохождение от корня к листу в соответствии с заданным значением ключа. Заметим, что поскольку деревья сильно ветвистые и сбалансированные, то для выполнения поиска по любому значению ключа потребуется одно и то же (и обычно небольшое) число обменов с внешней памятью. Более точно, в сбалансированном дереве, где длины всех путей от корня к листу одни и те же, если во внутренней странице помещается n ключей, то при хранении m записей требуется дерево глубиной logn(m). Если n достаточно велико (обычный случай), то глубина дерева невелика, и производится быстрый поиск.
Адресные методы доступа. В этих методах значение ключа с помощью специальной функции преобразуется в значение адреса записей такой функции называется адресной. Существует два вида адресной функции:
Реализует взаимнооднозначное соответствие Адрес ↔ Ключ (прямой доступ).
Прямой доступ к записи. Физический адрес записи непосредственно определяется из самой записи.
Реализует однозначное соответствие Ключ ↔ Адрес (хеширование - перемешивание).
Хэширование.
Этот метод используется тогда, когда все множество ключей заранее известно и на время обработки может быть размещено в оперативной памяти. В этом случае строится специальная функция, однозначно отображающая множество ключей на множество указателей, называемая хеш-функцией (от английского "to hash" - резать, измельчать). Имея такую функцию можно вычислить адрес записи в файле по заданному ключу поиска. В общем случае ключевые данные, используемые для определения адреса записи организуются в виде таблицы, называемой хеш-таблицей.
Если множество ключей заранее неизвестно или очень велико, то от идеи однозначного вычисления адреса записи по ее ключу отказываются, а хеш-функцию рассматривают просто как функцию, рассеивающую множество ключей во множество адресов.
Суть метода вычисления адреса записи в соответствие с алгоритмом хеширования, который в общем случае для разных значений ключа может дать один и тот же адрес записи. Такой случай называют коллизией. Существуют разные варианты данного метода доступа, которые отличаются видом хеш-функции и способом разрешения коллизии. Обычно хеш-функцию выбирают так, чтобы она равномерно отображала множество возможных значений ключа в множество адресов записи.
Существует два способа разрешения коллизии:
Способ открытой адресации. Когда появляется коллизия во время добавления записей ищется свободный участок памяти, куда помещается новая запись. При поиске записи поступают аналогично, т.е. сначала производят поиск по адресу, а затем если запись с искомыми ключами не найдена, последовательно просматриваются остальные участки памяти.
Способ цепочек. Каждая запись имеет ссылку на область переполнения, в которую записываются цепочки коллизий.