2.6 Процессы доступа, извлечения, очистки, преобразования, интеграции, суммаризации, объединения, и загрузки данных

Множественность источников данных, их разнородность и рассогласованность требуют организации процессов доступа, извлечения, очистки, преобразования, интеграции, суммаризации, объединения и загрузки данных.

Вопросы организации доступа к данным связаны, прежде всего, с унификацией алгоритмов доступа. Первое решение проблемы доступа к разнородным данным было предложено фирмой Microsoft в виде спецификации разработанного стандарта на алгоритм доступа к разнородным базам данных - Open Database Connectivity (ODBC). Использование этой спецификации позволило разработчикам не заботиться об особенностях работы с той или иной СУБД и делать свои системы переносимыми между различными СУБД. За время своего существования ODBC стал стандартом де-факто, и на сегодняшний день большинство систем работают с источниками информации через алгоритмы доступа ODBC. В их числе такие широко распространенные системы, как Microsoft Word, Lotus Notes, языки четвертого поколения PowerBuilder, Visual Basic и другие.

Процесс извлечения перемещает информацию из одной или нескольких баз данных в отдельную базу данных, специально созданную для хранения данных. При извлечении данные могут сочетаться так, как нужно конечному пользователю. Извлечение данных выполняется вручную, средствами используемой СУБД, или для этого применяется специализированные программные средства. Ключевым аспектом процесса извлечения данных является периодичность его прохождения. Периодичность связана со временем накопления или изменения данных в источниках, а также с требованиями к согласованности и актуальности извлекаемых данных.

Очистка данных требуется в тех случаях, когда существует вероятность ошибок, возникающих при вводе данных, например, в написании адресов, наименований, артикулов и т.п. Выявление подобных ошибок возможно как на основе специальных словарей, так и на основе анализа сопутствующей информации. Например, артикул товара и его наименование должны соответствовать друг другу. Очистка данных выявляет и устраняет подобные несоответствия. В некоторых системах данные поступают в неочищенном виде и проходят процедуры доводки в процессе работы. В этих случаях важно, чтобы извлечение данных проходило в моменты, когда данные уже очищены в самих источниках. Очистка данных может потребоваться также из-за дублирования данных в различных источниках информации. При этом следует добиваться того, чтобы один и тот же факт распознавался как единичное событие, а не множество событий, каждое из которых зарегистрировано в своей базе данных. Очистка данных подразумевает:

-устранение избыточности и обнаруженных ошибок в данных;

-обнаружение и разрешение противоречий между данными;

-восполнение пропусков данных;

-проверку ограничений целостности и устранение их нарушений и т.п.

Преобразование данных - это процесс приведения в соответствие обозначений, принятых в различных источниках данных, генерация новых обозначений, вычисление производных значений. Преобразование данных служит для того, чтобы привести данные к единой системе обозначений и единому формату. Этот процесс существенно связан с семантикой данных, поскольку в разных системах одни и те же параметры кодируются различным образом и измеряются в различных единицах измерения. Согласование соответствующих друг другу параметров, приведение их к единому знаменателю является задачей процесса преобразования данных.

Интеграция данных предполагает группировку извлеченных и преобразованных данных в соответствии с теми предметными областями, к которым они относятся. Интеграция призвана сформировать целостную и непротиворечивую картину предметной области, в которой предполагается проводить анализ в дальнейшем. Интеграция включает в себя группировку данных по различным измерениям и срезам выбранной предметной области, например по заказчикам, счетам, поставщикам, товарам, регионам и т.п.

Суммаризация - это процесс формирования обобщенных данных на основе детализированных. Как правило, под суммаризацией понимается вычисление промежуточных и окончательных итогов, средних и количественных значений, процентных величин. Суммаризация необходима для увеличения производительности при запросе обобщенных данных. Кроме того, учитывая, что инструменты запросов, даже обеспечивающие удовлетворительное время отклика, могут использовать различные алгоритмы подсчетов, которые могут приводить к различным результатам на одних и тех же данных, не следует пользоваться вычисляемыми значениями, они должны быть сохранены физически. Некоторые обобщенные величины могут являться результатом неверных вычислений, однако, несмотря на это, они должны быть сохранены, если на их основе производились те или иные операции.

Объединение данных подразумевает слияние извлеченных, очищенных, преобразованных и суммаризованных данных в общие структуры. Процесс объединения предполагает, что данные уже находятся в общих форматах, согласованных структурах и могут быть помещены в единую базу данных. Обычно формируется сводная таблица, называемая таблицей фактов, каждая строка которой содержит информацию о дате начала и дате конца периода, когда данные были актуальны, о дате изменения данных в источнике, о дате поступления данных. Таким образом, процесс объединения данных включает также присвоение меток времени объединяемым данным.

Загрузка данных - процесс, подразумевающий перенос подготовленных данных в единую базу данных. Процесс загрузки зависит от типа используемой СУБД. Загрузка многомерных баз данных - наиболее трудоемкий процесс, занимающий много времени. (Некоторые хранилища данных во время своего формирования требуют загрузки терабайт информации). Время загрузки данных должно соответствовать потребностям в актуальности аналитической информации.

Как правило процессы доступа, извлечения, очистки, преобразования, интеграции, суммаризации, объединения, и загрузки данных реализуются с помощью специализированных ETL-инструментов. В аббревиатуре ETL термин «extraction» (извлечение) означает перемещение данных из разнотипных транзакционных источников, термин «transformation» (преобразование) означает перекодировку данных, включая их очистку, агрегирование, и фильтрацию, термин «loading» (загрузка) означает процесс размещения перемещенных и агрегированных данных в новой базе данных, из которой в целях анализа будет запрашиваться информация.