Глава №1. Анализ состояния существующих подходов к предоставлению и распространению данных и метаданных дистанционного зондирования через геопорталы

1.1. Анализ требований нормативно-технической документации. Обзор по форматам и метаданным

Область применения пространственных данных (данных ДЗЗ) чрезвычайно широка. В связи с этим для решения различных задач разными ведомствами, юридическими и физическими лицами инициируются работы по их производству. Проблема несогласованности подобных работ приводит к дублированию расходов и затратам времени, которых можно было бы избежать, располагая информацией о готовых пространственных данных на необходимую территорию в нужном объёме и качестве. Таким образом, готовые пространственные данные требуют описания для организации из хранения, обеспечения доступа к ним и возможности оценки их пригодности для потенциального потребителя. Для решения указанной задачи используются метаданные, являющиеся основным компонентом ИПД [3].

Метаданные (пространственные) – это данные о пространственных данных, которыми могут быть сведения о составе, статусе (актуальности и обновляемости), происхождении, местонахождении, качестве, форматах представления, условиях доступа, приобретения и использования, авторских правах на данные, применяемых системах координат, позиционной точности, масштабах и других характеристиках данных [4].

Необходимость создания метаданных связана с тем, что метаданные обеспечивают возможность планирования, быстрого поиска и восстановления данных [5]. Именно с помощью метаданных потенциальный потребитель продукции или услуги может оценить её пригодность для использования [6].

Так как потребителями пространственных данных выдвигаются разные требования к пространственным данным, а, следовательно, и к метаданным, то реализация унифицированного подхода (общепринятой программы) к составу метаданных неоднозначна и сложна и может быть применена, например, в профильной организации, которая предоставляет продукты и услуги, на решение задач повышенной точности. Для таких задач требуется широкий спектр сущностей и элементов метаданных. Следовательно, в зависимости от характера использования данных потребителями выдвигаются и разные требования к описанию данных. Таким образом, установление единого состава метаданных невозможно, так как каждая отрасль использования пространственных данных имеет собственный состав. Согласно содержанию международного стандарта, ISO 19115: 2003 [7], такие составы метаданных именуются тематическими. Основой интеграции является интероперабельность метаданных, достигаемая за счет использования общих требований к созданию перечней обязательных элементов и расширенных описаний [8].

На сегодняшний день самым растпространённым является международный формат ISO 19115: 2003 «Geographic information - Metadata» (Географическая информация. Метаданные). Данный стандарт определяет ядро метаданных – минимальное подмножество элементов метаданных. Элементы ядра метаданных предоставляют достаточный объём информации, необходимый для того, чтобы понять природу и содержание описываемого набора данных, и применяются преимущественно в целях каталогизации [7].

Состав метаданных – элементов описания пространственных данных в данном стандарте представлен в виде диаграмм UML (Unified Modeling Language) – унифицированного языка моделирования [9]. Он позволяет с применением стандартных терминов, диаграмм, символов, графиков описать предметную область формально, с необходимой и достаточной степенью детализации [15]. Международный стандарт содержит более 400 элементов – атрибутов в нотации UML, каждому из которых соответствует значение обязательности документирования. За счёт этого и наличия избыточного количества элементов достигается возможность создания национальных и тематических профилей с сохранением интероперабельности.

Отметим еще один международный стандарт семейства ISO – 19139:2007 Geographic information – Metadata - XML schema implementation («Географическая информация. Метаданные. Внедрение системы языка XML») [10]. Данный стандарт регламентирует этап физической реализации работы с метаданными – кодирование метаданных с применением языка UML [11].

Использование метаданных в Российской Федерации (РФ) начинается с 1 января 2001 года, с даты введения в действие национального стандарта ГОСТ Р 52573-2006 «Географическая информация. Метаданные», устанавливающего методологию формирования и базовый состав метаданных на территорию РФ [5]. Следует уточнить, что термин метаданные появился в РФ несколько раньше в 1999 году составе ГОСТ 51353 – 99 «Геоинформационное картографирование. Метаданные электронных карт» [12]. Тем не менее детально вопросы создания и использования метаданных впервые были изложены в ГОСТ Р 52573 – 2006 [5].

В соответствии с международным стандартом [7] данный документ является национальным профилем. Основным критерием соответствия национального стандарта международному является включение ядра обязательных к документированию элементов метаданных (22 элемента). Как отмечалось ранее, международный стандарт описывает около 400 элементов метаданных, из которых только 200 элементов были перенесены в национальный профиль РФ. Остальные элементы были признаны разработчиками национального профиля широко не распространенными и не используемыми на территории РФ. Исключение неиспользуемых элементов из национального стандарта является положительной характеристикой и полностью соответствует правилам создания международных профилей на основе определения обязательности документирования отдельных элементов метаданных. Необходимо отметить, что наличие избыточного количества элементов метаданных повлечет за собой снижение эффективности работы информационных систем, основанных на их составе [6].

Кроме состава и описания основных элементов метаданных национальный профиль унаследовал из международного правила и типы расширения описаний элементов для создания национальных тематических профилей. Достаточно сложно представить область практического применения пространственных данных, которая использует для их описания все 200 элементов. Национальный профиль представляет возможность выбрать из их состава необходимые, сохранив при этом описание, или дополнить необходимыми элементами. Для этого разработчиками тематических профилей предлагаются возможности определения обязательности отдельных элементов метаданных.

Метаданные в процессах информационного обмена играют значительную роль: они используются при каталогизации, учёте, статистической обработке и анализе данных. Именно с помощью метаданных потенциальный потребитель продукции или услуги может оценить её пригодность для использования [13].

Международная практика формирования и представления метаданных основывается на применении формализованных методик описания метаданных. Указанные методики находят воплощение в стандартах, принимаемых на региональном, государственном или международном уровне [14].

Поведём анализ состава метаданных и принципов его формирования, используемых в Российской и международной практике на примере ГОСТ и ISO/TC211.

В соответствии с методикой ISO, структура метаданных представлена в виде отдельных блоков – UML пакетов. Каждый пакет имеет смысловое наполнение и характеризует тот или иной аспект метаданных.

Например, пакет «Информация о наборе данных» определяет общие сведения о данных – наименование, дату создания, сведения разработчиках, ограничения на доступ и др.

Всего вводится в употребление порядка 14 пакетов, каждый из которых состоит из одной или нескольких сущностей.

Сущность (UML-класс) – это формальное описание группы объектов, обладающих одинаковым набором характеристик. UMLклассы могут быть подразделены на подклассы или обобщены в так называемые суперклассы. Классы содержат элементы (атрибуты), характеризующие конкретный аспект метаданных (рис. 1)

Рис. 1. Структура метаданных

Некоторые классы и атрибуты подлежат обязательному документированию (т.е. должны обязательно содержать значения), а некоторые могут документироваться по необходимости.

Для определения признака обязательности вводится отдельный атрибут, который может принимать одно из ниже перечисленных значений:

• Обязательный – классы или атрибуты метаданных должны документироваться в обязательном порядке;

• Необязательный – классы или атрибуты могут не документироваться в обязательном порядке;

• Условный – документирование класса или атрибута метаданных осуществляется в зависимости от условия. Основным условием является документирование оного из двух элементов: либо то, либо это.

В итоге можно сделать вывод, что пакетный способ является основным для организации составления метаданных. Его назначение заключается в отображении информации о входящих в его состав элементов метаданных. Кроме смыслового содержания пакетов не менее важным является графическое отображение отношений, как между отдельными пакетами, так и между сущностями одного пакета. Сущности, их элементы и отношения представляются стандартным образом, согласно спецификации, на языке UML.

Базовый набор элементов

В качестве основы для формирования метаданных определен следующий базовый набор элементов метаданных (так называемое «ядро»), необходимый для документирования пространственных данных, без которого данные в принципе не имеют места быть:

• общее описание данных;

• местонахождение данных;

• время создания данных;

• организация-производитель.

В ряде случаев, например, при каталогизации с помощью метаданных, вполне можно ограничиться указанным базовым набором элементов. В других случаях можно дополнить базовый набор другими элементами метаданных и тем самым обеспечить необходимую степень детализации в зависимости от поставленной задачи.

Расширение стандартного набора элементов метаданных

В методике определены правила и порядок расширения стандартного выбора элементов метаданных. Дополнительные метаданные, описанные согласно разработанной методике, называются расширениями.

Пользователем могут быть введены следующие виды расширений:

• новые секции (пакеты) метаданных;

• новые сущности метаданных;

• новые элементы метаданных;

• новые списки (перечни потенциальных значений) для метаданных;

• новые значения, расширяющие уже существующие списки;

• новые ограничения на перечень значений атрибута (элемента).

Если расширения достаточно глобальны и влекут за собой создание множества элементов метаданных, характерных для определённой отрасли, рекомендуется согласовать совокупность таких предполагаемых расширений (изменений) в группе пользователей (отдельном обществе, организации, корпорации и т.д.) и создать профиля сообщества (объединённого профиля стандарта ISO) – полное описание характеристик системы в определенной форме.

Процедура информирования других пользователей информации о профиле называется публикацией.

Принятие каким-либо локальным сообществом (отраслью, компанией, регионом, государством и т.д.) определенного профиля гарантирует однозначность представления и восприятия в рамках этого сообщества.

Рассмотрим более подробно перечень пакетов метаданных (рис. 2)

Рис. 2. Пакеты метаданных

Базовым является пакет «Метаданные».

С одной стороны, пакет отражает основную идентификационную информацию о метаданных, необходимую, например, для хранения в базе данных. В состав информации о метаданных входят следующие атрибуты:

• идентификатор файла метаданных или записи о метаданных в БД;

• стандарт, используемый для описания метаданных;

• язык составления метаданных;

• дата составления метаданных;

• сведения о стороне, поставляющей метаданные.

С другой стороны, состав пакета «Метаданные» определяется информационным наполнением остальных пакетов, являясь центральным звеном в формировании метаданных. Пакет «Метаданные» подлежит обязательному документированию.

Для того, чтобы получить целостное представление о материалах и данных, подлежащих описанию, в пакет «Информация о наборе данных» были включены следующие элементы:

• название набора данных;

• дата создания публикации / исправления данных;

• краткое изложение содержимого набора данных;

• цель создания (назначение) данных;

• формат представления данных (в виде файла с указанием его названия и версии, в бумажном виде и т.п.);

• язык, на котором представлены данные (используемый в пределах набора данных);

• полное название стандарта кодирования символов (кодировка);

• масштаб (для пространственных данных).

• и др.

Пакет «Информация о наборе данных» также подлежит обязательному документированию.

Элементы пакета «Информация об ограничениях» определяют существующие ограничения на доступ и использование данных или метаданных. Данный пакет является обязательным и должен заполняться независимо от типа информации.

Кроме сведений о данных значение также имеет и информация об источниках их получения, актуальность, степень достоверности данных, качество и т.д. Для учета подобной информации при формировании метаданных используется пакет «Сведения о качестве данных». Назначение данного пакета сводится к описанию методов оценки качества данных и информации о происхождении данных. Для общей оценки данных включены следующие элементы:

• название набора данных;

• дата применения оценочной методики;

• описание метода оценки данных;

• результат оценки.

Под происхождением данных понимается совокупность информации об источнике и процессе получения данных. При описании источника данных применяются такие элементы, как:

• общее изложение сведений организации-производителя о происхождении данных;

• название, тип данных и дата их создания;

• подробное описание источника данных;

• масштаб;

• Система координат источника данных.

Учет сведений о технологии получения (обработки, изготовления или преобразования) набора данных осуществляется с помощью следующих элементов:

• описание технологии;

• требования (или назначение) к технологическому процессу;

• временной период, сопряженный с процессом получения данных;

• информация об ответственной за технологический процесс стороне.

Пакет «Сведения о качестве данных» может заполняться на усмотрение разработчика.

Пользователю желательно не просто знать, какому моменту времени соответствуют то или иные данные, но и когда они будут обновлены. Эту информацию содержит пакет «Сведения о поддержке, ведении и обновлении данных», подлежащий обязательному документированию. Элементы, принадлежащие данному пакету, отображают информацию о частоте, с которой должны осуществляться изменения и добавления – ежегодно, ежемесячно т.д., а также сведения об ответственной за поддержку и обновление организации.

Для материалов и данных, при описании которых необходимо указывать пространственные характеристики, существует два пакета, описывающие систему координат (пакет «сведения о системе координат») и метод, используемый для пространственного представления географической информации в наборе данных. Например, текстовый (или табличный), векторной и др. (пакет «Информация о пространственном представлении»).

Практически каждый пакет описания метаданных ссылается на пакет «Информация о ссылках и ответственном субъекте». Полный набор сведений об организации-фондодержателе, производящей данные и метаданные, а также осуществляющей их ведение, поддержку и обновление, включает следующую информацию:

• адрес (страна, город, индекс, электронный адрес);

• телефон, факс;

• web-адрес;

• наименование организации;

• имя ответственного исполнителя;

• роль организации (владелец, пользователь, поставщик и т.д.).

Проведенный анализ методики представления метаданных, основанной на отечественной и международной практике, которая реализована в стандарте ISO 19115 совместима и вполне отвечает требованиям стандарта ГОСТ Р 52573-2006 «Географическая информация. Метаданные», показал, что данная методика является достаточно универсальной и позволяет описывать пространственные данные различного типа, добавлять или исключать элементы и сущности метаданных.