2.4 Базы данных для гис
Блок сбора данных призван обеспечить получение содержательных сведений (литературных, статистических, картографических, аэро-, космических и др.) с их пространственно-временной привязкой и выходными характеристиками. Привязка пространственных объектов к карте осуществляется в помощью геокодирования. С целью изучения пространственно-временных аспектов развития географических систем важна организация данных с показом ретроспективы и прогноза развития этих систем. В специальной базе данных должны быть упорядочены сведения о временных рядах, их согласованности между собой. При этом не везде требуется одинаковая периодичность и единовременность сбора сведений, поскольку известно, что одни показатели по сравнению с другими могут быть намного более динамичными.
Важное место в функционировании ГИС любого уровня и назначения занимает информационное обеспечение, а именно: базы картографической и тематической геопространственной информации, принятая система классификации и кодирования данных.
Базы данных стали появляться в 60-е годы с появлением магнитных носителей. В июне 1963 года прошёл симпозиум в Санта-Монике (Калифорния). На нём родился термин «база данных». Теоретическая наука о базах данных сформировалась в 70-е благодаря статье Э. Кодда. Под базой данных на заре развития информационных технологий термин «база данных» имел очень широкий диапазон толкований. Мы будем придерживаться следующего термина:
База данных (Data base, Database, DB, БД) – совокупность данных, организованных по определенным правилам, устанавливающим общие принципы описания, хранения и манипулирования данными.
Хранение данных в базах данных обеспечивает централизованное управление, соблюдение стандартов, безопасность я целостность данных, сокращает избыточность и устраняет противоречивость данных. База данных не зависит от прикладных программ. Создание базы данных и обращение к ней (по запросам) осуществляются с помощью системы управления базами данных (СУБД):
Система управления базами данных (data base management system, DBMS, СУБД) – комплекс программ и языковых средств, предназначенных для создания, ведения и использования баз данных.
Рисунок 2 - Общая схема базы данных.
Системы управления базами данных (СУБД) появились раньше, чем персональные компьютеры. Специфика больших ЭВМ, на которых происходило их становление в семидесятые годы, во многом определило особенности тех СУБД – они позволяли квалифицированному программисту делать очень много, начиная от обработки транзакций и заканчивая переносом данных и программ в другие операционные системы и на другие ЭВМ (платформы). Но эти СУБД (Oracle, INGRES и т.п.) не стали стандартом для персональных компьютеров, т.к. предъявляли слишком высокие требования к характеристикам используемой вычислительной техники и к квалификации пользователей.
Картографические данные весьма специфичны и позволяют говорить об особой разновидности баз данных:
Картографическая база данных – совокупность взаимосвязанных картографических данных по определенной предметной области, представленная в цифровой форме при соблюдении общих правил описания, хранения и манипулирования данными.
Картографическая база данных доступна многим пользователям, не зависит от характера прикладных программ и аналогично управляется системой управления базами данных (СУБД).
Картографический банк данных – комплекс технических, программных, информационных и организационных средств хранения, обработки и использования цифровых картографических данных.
В состав картографического банка данных входят: картографические базы данных по одной или нескольким предметным областям; система управления базами данных; библиотеки запросов и прикладных программ.
При анализе общего состава данных должны быть определены следующие вопросы:
1. Имеется ли возможность сбора, хранения и обновления пространственных данных?
2. Каковы ожидаемые объёмы данных и форматы?
3. Какой объём данных необходимо перевести в цифровую форму?
4. Каковы качество и надёжность данных?
В процессе проектировании картографической базы данных выделяют три уровня:
1.Концептуальный уровень. Этот уровень связан с концептуальной моделью географических данных и включает:
- описание и определение рассматриваемых объектов;
- установление способа представления географических объектов в базе данных;
- выбор базовых типов пространственных объектов;
- формирование задач создания карты или серии карт.
2. Логический уровень связан с имеющимися программными средствами. Он проявляется в разработке логической структуры и в соответствии с системами управления базами данных (СУБД).
Этот вид программного обеспечения в последние годы очень быстро совершенствуется. С одной стороны СУБД все шире используются для манипулирования новыми типами информации (мультимедиа, географические информационные системы и т.п.) С другой стороны – созданы новые технологии (архитектура «клиент-сервер», распределенные базы данных, гипертекст и т.п.), которые позволяют обеспечить доступ к информации широкому кругу пользователей в рамках сети Интернет, открывая тем самым принципиально новые возможности для изучения окружающей среды.
Выделяют следующие модели баз данных:
1. Иерархическая. Записи данных имеют древовидную структуру, при этом каждая запись связана только с 1 (одной) записью, находящейся на более высоком уровне. Все связи идут по «веткам» структуры. Низкое быстродействие и трудно модифицируемы.
2. Сетевая. Каждая запись может быть связана с несколькими узлами. Также эта модель содержит указатели для определения местоположения других записей. Сложность редактирования связей. Эти две модели БД соответствуют первому поколению СУБД.
3. Реляционная. Наиболее широко распространены. Имеют табличную структуру. Строки соответствуют записям, а столбцы однотипным характеристикам. Эту таблицу невозможно читать без наличия метаданных (данных о структуре системы).
Реляционные СУБД можно отнести ко второму поколению. Они всё ещё сохраняют определённую популярность, но в большинстве своём развились в системы третьего поколения, к которым относится большинство современных СУБД.
4. Объектно-ориентированная. Любая сущность реального мира в объектно-ориентированных языках и системах моделируется в виде объекта. Любой объект при своем создании получает генерируемый системой уникальный идентификатор, который связан с объектом во все время его существования и не меняется при изменении состояния объекта.
3. Физический уровень связан как с аппаратными средствами, так и с программными. На этом уровне решаются вопросы о размещении баз данных на носителях, использовании вычислительных ресурсов и представление данных.
Распределённые базы данных
Успехи баз данных привели к очевидной идее, что не только обработку информации можно распределить между несколькими компьютерами, но и саму информацию хранить в разных местах. Поэтому в начале 90-х годов все большую привлекательность для пользователей персональных компьютеров стали приобретать распределенные базы данных.
Современные информационные системы очень редко реализуются на одном персональном компьютере и поэтому возникают проблемы использования данных, хранящихся на разных ЭВМ, с обеспечением при этом высокой надежности работы и защиты данных. Многолетний опыт решения таких проблем, накопленный при разработке СУБД, широко используется при создании сетей из персональных компьютеров.
Распределенная база данных – логически единая база данных, которая размещается на нескольких ПК.
Эти данные в зависимости от тематической направленности хранятся в различных министерствах и ведомствах, государственных центрах и других организациях, в том числе в геоинформационных системах различного уровня и назначения. Но в техническом, программном и информационном плане эти данные объединены по единым правилам.
Гигантской распределенной базой данных является глобальная сеть Интернет. Для пользователя любого из компьютеров, объединенных в сеть, в узлах которой распределена такая база данных, эта база выглядит как единое целое и одинаково доступна. Стоит отметить, что изначально сети отдельных организаций ориентировались на топологию «звезда» или «дерево».
При этом возникает много проблем с обеспечением целостности и непротиворечивости хранимых данных и, одновременно, приемлемого быстродействия прикладных программ, работающих с распределенной базой данных. Лишь в очень немногих системах управления базами данных (Sybase, Ingres, Informix) эти проблемы решены в достаточном объеме, и самой известной из них является СУБД Oracle.
Компоненты распределенной базы данных:
1. Картографическая база данных, которая должна содержать:
- цифровые топографические карты и планы всех масштабов;
- аэрокосмические данные (в аналоговом или цифровом виде);
- справочные картографические материалы (атласы, дежурные карты об изменениях на местности, схемы и т.д.).
2.Тематическая база данных, которая содержит:
- цифровые тематические карты по профилю функционирования ГИС;
- справочные данные тематического характера в цифровом и аналоговом виде.
3.База метаданных, включающая сведения об объектах местности и геопространственные данные о Земле в целом или для интересующего района.
Кроме того, чтобы обеспечить оперативную выдачу информации по запросу пользователя, каждая распределенная база данных ГИС должна иметь оперативную базу данных, объединенную в техническом и информационном плане с государственной распределенной базой геопространственных данных (ГосБГД), единым банком цифровых данных о местности и базами данных других ГИС.
Создание распределенной базы данных ГИС и наличие в ней оперативной базы данных позволит обеспечивать пользователей необходимой информацией в режиме реального времени непосредственно со станций операторов системы. Необходимость такой базы данных вызвана еще и тем, что в настоящее время практически во всех органах государственной власти Российской Федерации и ее субъектах, а также в коммерческих структурах накоплены большие объемы информации, доступ к которой практически закрыт. Это вызвано разобщенностью и разнородностью самой информации, ее классификации, технических средств и средств связи для обмена данными между существующими ГИС. В идеале было бы целесообразно иметь распределенную базу данных ГосБГД и распределенные базы данных локальных ГИС, но из-за отсутствия государственного финансирования создать ГосБГД в ближайшее время практически невозможно. Поэтому на данном этапе, видимо, разумнее говорить о создании локальных распределенных баз данных. Это, в свою очередь, создаст предпосылки для организации комплекса специализированных рабочих мест (станций) по обмену необходимой информацией с помощью устройства связи ГИС непосредственно через операторов.
Существует комплекс проблем, связанных с хранением данных:
- качество данных;
- оптимальный выбор источников данных;
- производительность и масштабируемость.
На рынке ПО имеется несколько средств очистки данных, которые начинают применяться для очистки грязных данных разнообразных типов. Однако эти средства, конечно, не затрагивают все типы грязных данных, и, конечно, лишь немногие предприятия принимают на вооружение такие средства или процессы для предотвращения или обнаружения и очистки грязных данных, а также для отслеживания и проведения количественной оценки качества данных в хранилищах данных.
Сегодня в хранилищах данных содержится множество данных, которые никогда не используются приложениями, выполняемыми над этими хранилищами данных, и эти ненужные данные являются одной из причин снижения эффективности выполнения запросов. Нужно обеспечить возможность регистрации полного набора запросов, генерируемых всеми приложениями, и использования таблиц и полей, фигурирующих в запросах, для тонкой настройки содержимого хранилищ данных.
В сегодняшних хранилищах данных для хранения данных и управления ими в значительной степени используются системы РБД. Однако возможности сегодняшних систем РБД не достаточны для обработки запросов, ориентированных на сканирование, таких как группировка записей и вычисление агрегатов, и операций перемещения файлов, которые преобладают на этапе преобразования данных хранилищ данных и этапе подготовки данных при добыче данных.
Логическая структура элементов базы данных определяется выбранной моделью БД. Наиболее распространенными моделями БД являются иерархические, сетевые и реляционные и объектно-ориентированные.
Иерархические модели представляют древовидную структуру, в этом случае каждая запись связана только с одной записью, находящейся на более высоком уровне.
Такая система хорошо иллюстрируется системой классификации растений и животных. Примером может также служить структура хранения информации на дисках ПК. Главное понятие такой модели уровень. Количество уровней и их состав зависит от принятой при создании БД классификации. Доступ к любой из этих записей осуществляется путем прохода по строго определенной цепочке узлов. При такой структуре легко осуществлять поиск нужных данных, но если изначально описание неполное, или не предусмотрен какой либо критерий поиска, то он становится невозможным. Для достаточно простых задач такая система эффективна, но она практически непригодна для использования в сложных системах с оперативной обработкой запросов.
Сетевые модели были призваны устранить некоторые из недостатков иерархических моделей. В сетевой модели каждая запись в каждом узле сети может быть связана с несколькими другими узлами. Записи, входящие в состав сетевой структуры, содержат в себе указатели, определяющие местоположение других записей, связанных с ними. Такая модель позволяет ускорить доступ к данным, но изменение структуры базы требует значительных усилий и времени.
Реляционные модели собирают данные в унифицированные таблицы. Таблице присваивается уникальное имя внутри БД. Каждый столбец - это поле, имеющее имя, соответствующее содержащемуся в нем атрибуту. Каждая строка в таблице соответствует записи в файле. Одно и тоже поле может присутствовать в нескольких таблицах. Так как строки в таблице не упорядочены, то определяется один или несколько столбцов, значения которых однозначно идентифицируют каждую строку. Такой столбец называется первичным ключом. Взаимосвязь таблиц поддерживается внешними ключами. Манипулирование данными осуществляется при помощи операций, порождающих таблицы. Пользователь может легко заносить в базу новые данные, комбинировать таблицы, выбирая отдельные поля и записи, и формировать новые таблицы для отображения на экране.
Объектно-ориентированные модели применяют, если геометрия определенного объекта способна охватывать несколько слоев, атрибуты таких объектов могут наследоваться, для их обработки применяют специфические методы.
Для обработки данных, размещенных в таблицах необходимы дополнительные сведения о данных, их называют метаданными.
Метаданные - данные о данных: каталоги, справочники, реестры и иные формы описания наборов цифровых данных.