14(1). Назначение etl системы.
Исходные данные расположены в источниках разнообразных типов и форматов, созданных в различных приложениях, кроме того, могут использовать различную кодировку, а для решения задач анализа данные должны быть преобразованы в единый универсальный формат, который поддерживается ХД и аналитическим приложением. Исходные данные являются «грязными», т.е. содержат различные факторы, которые мешают их корректному анализу. Поэтому для переноса исходных данных из различных источников в ХД следует использовать специальный инструментарий, который должен извлекать данные из источников различного формата, преобразовывать их в единый формат, при необходимости - производить очистку данных от факторов, мешающих корректно выполнять их аналитическую обработку. Такой комплекс программных средств получил название ETL (от англ. extraction, transformation, loading — «извлечение», «преобразование», «загрузка»). Сам процесс переноса данных и связанные с ним действия называются ETL-процессом, а соответствующие программные средства - ETL-системами.
ETL - комплекс методов, реализующих процесс переноса исходных данных из различных источников в аналитическое приложение или поддерживающее его хранилище данных. Приложения ETL извлекают информацию из одного или нескольких источников, преобразуют ее в формат, поддерживаемый системой хранения и обработки, которая является получателем данных, а затем загружают в нее преобразованную информацию. Изначально ETL-системы использовались для переноса информации из более ранних версий различных информационных систем в новые. В настоящее время - применяются для консолидации данных с целью их дальнейшего анализа.
Независимо от особенностей построения и функционирования ETL-система должна обеспечивать выполнение трех основных этапов процесса переноса данных (ETL-процесса):
- Извлечение данных. Данные извлекаются из одного или нескольких источников и подготавливаются к преобразованию. Для корректного представления данных после их загрузки в ХД из источников должны извлекаться не только сами данные, но и информация, описывающая их структуру, из которой будут сформированы метаданные для хранилища.
- Преобразование данных. Производятся преобразование форматов и кодировки данных, а также их обобщение и очистка.
- Загрузка данных - запись преобразованных данных в соответствующую систему хранения. Перемещение данных в процессе ETL можно разбить на последовательность процедур, представленных схемой.
ETL следует рассматривать не только как процесс переноса данных из одного приложения в другое, но и как инструмент их подготовки к анализу.
15(1). Очистка данных. Назначение. Классификация проблем в «грязных» данных.
Сбор данных производится из большого числа источников, многие из которых не содержат автоматических средств поддержки целостности, непротиворечивости и корректного представления данных. В связи с этим при переносе информации в ХД приходится сталкиваться с потоками «грязных» данных, которые могут стать причиной неправильных результатов анализа и даже сделать невозможным применение некоторых аналитических алгоритмов и методов. Поэтому применяется очистка - процедура корректировки данных, которые не удовлетворяют определенным критериям качества. Очистка (cleaning) применяется, чтобы отсеять неточные или повторяющиеся данные из других систем. При очистке можно проверить корректность диапазонов числовых значений, приемлемость дат и т. д. Процедуры очистки используются и тогда, когда одно и то же значение представлено в разных формах (напр., разные по форме варианты названия компании - «Hyperion», «Hyperion Solutions Corp.», «корпорация Hyperion» - могут быть заменены на какое-то одно). Очистка также может применяться для согласования атрибутов полей (чтобы они соответствовали единой нормативно-справочной информации) и т.д.
Грязные данные - это отсутствующие, неточные или бесполезные данные с точки зрения практического применения (напр., представленные в неверном формате, не соответствующем стандарту). Грязные данные могут появиться по разным причинам: ошибка при вводе данных, использование иных форматов представления или единиц измерения, несоответствие стандартам, отсутствие своевременного обновления, неудачное обновление всех копий данных, неудачное удаление записей-дубликатов и т.д.
Группы грязных данных:
- данные, которые могут быть автоматически обнаружены и очищены;
- данные, появление которых может быть предотвращено;
- данные, которые непригодны для автоматического обнаружения и очистки;
- данные, появление которых невозможно предотвратить.
Классификация проблем в «грязных» данных:
Некоторые проблемы в данных являются критичными и даже не позволяют выполнить загрузку данных в ХД (напр., нарушения структуры и некорректные форматы данных). Другие проблемы менее критичны, не мешают переносу данных в ХД, но не позволяют их корректно анализировать (пропуски, дубликаты данных, выбросы и т.д.). Напр., орфографические ошибки или опечатки могут привести к неправильному пониманию или искажению данных - ошибка в названии фирмы приведет к появлению двух разных фирм с одинаковыми реквизитами, что вызовет противоречия, ошибки в отчетах. Логические несоответствия возникают, если значение в ячейке не соответствует логическому смыслу поля таблицы. Например, вместо наименования фирмы указан ее банковский счет.
Пропущенные значения (Missing Values). Пропуски могут быть вызваны ошибкой оператора или в связи с тем, что: данные вообще не были собраны (напр., при анкетировании скрыт возраст); некоторые атрибуты могут быть неприменимы для объектов (напр., атрибут "годовой доход" неприменим к ребенку). Как поступить с пропущенными данными?
- Исключить объекты с пропущенными значениями из обработки.
- Рассчитать новые значения для пропущенных данных.
- Игнорировать пропущенные значения в процессе анализа.
- Заменить пропущенные значения на возможные значения.
Дублирование данных (Duplicate Data). - Набор данных может включать продублированные данные. Дубликатами называются записи с одинаковыми значениями всех атрибутов. Продублированные данные - результат ошибок при подготовке данных. Существует 2 варианта обработки дубликатов. При первом варианте удаляется вся группа записей, содержащая дубликаты. Этот вариант используется в том случае, если наличие дубликатов вызывает недоверие к информации, полностью ее обесценивает. Второй вариант состоит в замене группы дубликатов на одну уникальную запись.
Выбросы - резко отличающиеся объекты или наблюдения в наборе данных. Выбросы могут представлять собой как отдельные наблюдения, так и быть объединенными в некие группы. Задача аналитика - не только их обнаружить, но и оценить степень их влияния на результаты дальнейшего анализа. Распространена практика проведения двухэтапного анализа - с выбросами и с их отсутствием - и сравнение полученных результатов.
Важно понимать, что специальные средства очистки могут справиться не со всеми видами грязных данных. Полностью очистить данные удается редко. Бывают случаи, когда некорректное применение методов очистки данных только усугубляет ситуацию. Иногда использование очень сложных алгоритмов очистки увеличивает время переноса данных в ХД до неприемлемой величины. Поэтому не всегда следует стремиться к полной очистке данных. Лучше обеспечить компромисс между сложностью используемых алгоритмов, затратами на вычисление, временем, требуемым на очистку, и ее результатами. Если достоверность каких-то данных не влияет на результаты анализа, то от их очистки, возможно, следует вообще отказаться.