Преобразование данных
Процесс преобразования данных источников включает в себя следующие основные действия.
Преобразование типов данных:
преобразования, связанные с кодировкой данных, например, EBCDIC -> ASCII / UniCode;
преобразование строковых данных;
преобразование форматов данных для представления даты или времени.
Преобразования, связанные с нормализацией или денормализацией схемы данных:
преобразование денормализации схемы с целью увеличения производительности выполнения запросов к ХД;
нормализация схемы ХД с целью обеспечения простоты SQL-запросов.
Преобразования ключей, связанные с обеспечением соответствия бизнес-ключей суррогатным ключам ХД.
Преобразования, связанные с обеспечением качества данных в ХД.
Как правило, данные источников не обладают необходимым уровнем качества данных. Заметим, что данные в ХД должны быть:
точными – данные должны содержать правильные количественные значения метрик или давать объяснения, почему невозможно такие значения иметь;
полными – пользователи ХД должны знать, что имеют доступ ко всем релевантным данным;
согласованными – никакие противоречия в данных не допускаются: агрегаты должны точно соответствовать подробным данным;
уникальными – одни и те же объекты предметной области должны иметь одинаковые наименования и идентифицироваться в ХД одинаковыми ключами;
актуальными – пользователи ХД должны знать, с какой частотой данные обновляются (т.е. на какую дату данные действительны).
Для обеспечения качества данные при преобразовании подвергаются процедуре очистки. Процедура очистки данных необходима, поскольку системы бизнес-аналитики не работают с несогласованными и неточными данными, иначе бизнес-анализ становится бессмысленным.
Процедура очистки данных включает в себя согласование форматов данных, кодирование данных, исключение ненужных атрибутов (например, комментариев), замещение кодов значениями (например, почтового индекса наименованием населенного пункта), комбинирование данных из различных источников под общим ключом (например, собрать все данные о покупателях), обнаружение одинаково поименованных атрибутов, которые содержат различные по смыслу значения.
Очистку данных можно разделить на следующие типы:
конвертация и нормализация данных (приведение к одинаковому кодированию текста, форматам даты и т. д.);
стандартизация написания имен, представления адресов, устранение дубликатов;
стандартизация наименований таблиц, индексов и т.д.;
очистка, основанная на бизнес-правилах предметной области.
Процедуры очистки также включают в себя создание меток статуса фактов в таблицах измерения (нормальный, ненормальный, невозможный, выходящий за границы, анализируемый или нет и т.д.), распознавание случайных и зашумленных значений (замещение их NULL-значением или оценкой), унификация использования NULL-значений, маркирование фактов с изменившимся статусом (например, покупатель аннулировал контракт), агрегирование фактов и т.п.