- •Задачі систем підтримки прийняття рішень.
- •Узагальнена архітектура системи підтримки прийняття рішень.
- •Дванадцять правил е.Кодда для реляційних бд.
- •Поняття oltp системи.
- •Неефективність використання oltp систем для аналізу даних: степінь деталізації даних, що зберігаються.
- •Неефективність використання oltp систем для аналізу даних: якість даних.
- •Неефективність використання oltp систем для аналізу даних: формат збереження даних.
- •Неефективність використання oltp систем для аналізу даних: кількість даних, які зберігаються.
- •Неефективність використання oltp систем для аналізу даних: характер запитів до даних.
- •Неефективність використання oltp систем для аналізу даних: час обробки звертань до даних.
- •Неефективність використання oltp систем для аналізу даних: необхідність надлишковості даних.
- •Неефективність використання oltp систем для аналізу даних: управління даними.
- •Неефективність використання oltp систем для аналізу даних: характер обчислювального навантаження на систему.
- •14.Неефективність використання oltp систем для аналізу даних: пріоритетність характеристик системи.
- •Концепція сховища даних.
- •Властивості сховища даних: предметна орієнтація.
- •Властивості сховища даних: інтеграція.
- •Властивості сховища даних: підтримка хронології.
- •Властивості сховища даних:незмінність.
- •Сппр з фізичним сд. Переваги і недоліки.
- •Сппр з віртуальним сд. Переваги і недоліки.
- •Поняття вітрини даних (вд).
- •Структура сппр з самостійними вд.
- •Структура сппр з сд і вд.
- •Категорії даних в сд.
- •Структура etl процесу і його етапи.
- •Очистка даних. Основні проблеми.
Очистка даних. Основні проблеми.
Одной из важных задач, решаемых при переносе данных в ХД, является их очистка. С одной стороны, данные загружаются постоянно из различных источников, поэтому вероятность попадания "грязных данных" весьма высока. С другой стороны, ХД используются для принятия решений, и "грязные данные" могут стать причиной принятия неверных решений. Таким образом, процедура очистки является обязательной при переносе данных из ОИД в ХД. Ввиду большого спектра возможных несоответствий в данных их очистка считается одной из самых крупных проблем в технологии ХД. Основные проблемы очистки данных можно классифицировать по следующим уровням:
П уровень ячейки таблицы;
П уровень записи;
уровень таблицы БД;
D уровень одиночной БД;
уровень множества БД.
Рассмотрим перечисленные уровни и соответствующие им проблемы более
подробно.
Уровень ячейки таблицы. На данном уровне задача очистки заключается в
анализе и исправлении ошибок в данных, хранящихся в ячейках таблиц БД.
К таким ошибкам можно отнести следующие.
Орфографические ошибки (опечатки)— возникают при вводе информации. Они могут привести к неправильному пониманию, а также к искажению реальных данных. Например, при продаже товара вместо количества 1000 было введено 10 ООО или вместо названия товара "Водка" было введено название "Вода".
Отсутствие данных — такие ошибки происходят из-за отсутствия у оператора соответствующих данных при вводе информации. Главной задачей OLTP-систем является обеспечение ежедневных операций с данными, поэтому оператор может пропустить ввод неизвестных ему данных, а не тратить время на их выяснение. Как следствие, в БД могут оставаться незаполненные ячейки (содержащие значение NULL).
Фиктивные значения— это значения, введенные оператором, но не имеющие смысла Наиболее часто такая проблема встречается в полях, обязательных для заполнения, но при отсутствии у оператора реальных данных он вынужден вводить бессмысленные данные, например: номер социального страхования 999-99-9999, или возраст клиента 999, или почтовый индекс 99999. Проблема усугубляется, если существует вероятность появления реальных данных, которые могут быть приняты за фиктивные, например, номер социального страхования 888-88-8888 для указания на статус клиента-иностранца "нерезидент" или месячный доход в размере $99 999,99 для указания на то, что клиент имеет работу.
Логически неверные значения — значения, не соответствующие логическому смыслу, вкладываемому в данное поле таблицы. Например, в поле "Город" находится значение "Россия", или в поле "температура больного" значение 10.
Закодированные значения — сокращенная запись или кодировка реальных данных, используемая для уменьшения занимаемого места.
Составные значения — значения, содержащие несколько логических данных в одной ячейке таблицы. Такая ситуация возможна в полях произвольного формата (например, строковых или текстовых). Проблема усугубляется, если отсутствует строгий формат записи информации в такие поля.
Уровень записи. На данном уровне возникает проблема противоречивости значений в разных полях записи, описывающей один и тот же объект предметной области, например, когда возраст человека не соответствует его году рождения- age = 22, bdate = 12.02.50.
Уровень таблицы БД На данном уровне возникают проблемы, связанные с несоответствием информации, хранящейся в таблице и относящейся к разным объектам. На этом уровне наиболее часто встречаются следующие проблемы.
П Нарушение уникальности. Значения, соответствующие уникальным атрибутам разных объектов предметной области, являются одинаковыми.
Отсутствие стандартов. Из-за отсутствия стандартов на формат записи значений могут возникать проблемы, связанные с дублированием данных или с их противоречивостью:
дублирующиеся записи (один и тот же человек записан в таблицу два раза, хотя значения полей уникапьны):
empl=(name="John Smith", ...); emp2=(name="J.Smith", ...);
противоречивые записи (об одном человеке в разных случаях введена разная информация о дате рождения, хотя значения полей уникальны):
empl=(name="John Smith", bdate=12.02.70) ; етр2=(name="J.Smith", bdate=12.12.70);
Уровень одиночной БД. На данном уровне, как правило, возникают проблемы, связанные с нарушением целостности данных.
Уровень множества БД. На этом уровне возникают проблемы, связанные с неоднородностью как структур БД, так и хранящейся в них информации. Можно выделить следующие основные проблемы этого уровня:
П различие структур БД (различие наименований полей, типов, размеров и др.);
П в разных БД существуют одинаковые наименования разных атрибутов;
П в разных БД одинаковые данные представлены по-разному;
П в разных БД классификация элементов разная;
П в разных БД временная градация разная;
П в разных БД ключевые значения, идентифицирующие один и тот же объект предметной области, разные и т. п.
При решении задачи очистки данных, прежде всего, необходимо отдавать себе отчет в том, что не все проблемы могут быть устранены. Возможны ситуации, когда данные не существуют и не могут быть восстановлены, вне зависимости от количества приложенных усилий. Встречаются ситуации, когда значения настолько запутаны или найдены в стольких несопоставимых местах с такими на вид различными и противоположными значениями одного и того же факта, что любая попытка расшифровать эти данные может породить еще более неверные результаты, и, возможно, лучшим решением будет отказаться от их обработки. На самом деле не все данные нужно очищать. Как уже отмечалось, процесс очистки требует больших затрат, поэтому те данные, достоверность которых не влияет на процесс принятия решений, могут оставаться неочищенными.
В целом, очистка данных включает в себя несколько этапов:
выявление проблем в данных;
определение правил очистки данных;
тестирование правил очистки данных;
П непосредственная очистка данных.
Выявление проблем в данных. Для выявления подлежащих удалению видов ошибок и несоответствий необходим подробный анализ данных. Наряду с ручной проверкой следует использовать аналитические программы. Существует два взаимосвязанных метода анализа: профайлинг данных и Data Mining.
Профсштшг данных ориентирован на грубый анализ отдельных атрибутов данных. При этом происходит получение, например, такой информации, как тип, длина, спектр значений, дискретные значения да.чных и их частота, изменение, уникальность, наличие неопределенных значений, типичных строковых моделей (например, для номеров телефонов) и др.. что позволяет обеспечить точное представление различных аспектов качества атрибута.
Data Mining помогает найти специфические модели в больших наборах данных, например отношения между несколькими атрибутами. Именно на это направлены так называемые описательные модели Data Mining, включая группировку, обобщение, поиск ассоциаций и последовательностей. При этом могут быть получены ограничения целостности в атрибутах, например, функциональные зависимости или характерные для конкретных приложений бизнес-правила, которые можно использовать для восполнения утраченных и исправления недопустимых значений, а также для выявления дубликатов записей в источниках данных. Например, правило объединения с высокой вероятностью может предсказать проблемы с качеством данных в элементах данных, нарушающих это правило. Таким образом, 99%-я вероятность правила "итого = количество х единицу" демонстрирует несоответствие и потребность в более детальном исследовании для оставшегося 1 % записей.
Определение правил очистки данных. В зависимости от числа источников данных, степени их неоднородности и загрязненности, они могут требовать достаточно обширного преобразования и очистки. Первые шаги по очистке данных могут скорректировать проблемы отдельных источников данных и подготовить данные для интеграции. Дальнейшие шаги должны быть направлены на интеграцию данных и устранение проблем множественных источников.
На этом этапе необходимо выработат ь общие правила преобразования, часть из которых должна быть представлена в виде программных средств очистки.
Тестирование правил очистки данных. Корректность и эффективность правил очистки данных должны тестироваться и оцениваться, например, на копиях данных источника. Это необходимо для выяснения целесообразности корректировки правил с целыо их улучшения или исправления ошибок.
Этапы определения правил и их тестирование могут выполняться итерационно несколько раз, например, из-за того, что некоторые ошибки становятся заметны только после определенных преобразований.
Непосредственная очистка данных. На этом этапе выполняются преобразования ь соответствии с определенными ранее правилами. Очистка выполняется в два приема. Сначала устраняются проблемы, связанные с отдельными источниками данных, а затем — проблемы множества БД.
Над отдельными ОИД выполняются следующие процедуры.
Расщепление атрибутов. Данная процедура извлекает значения из атрибутов свободного формата для повышения точности представления и поддержки последующих этапов очистки, таких как сопоставление элементов данных и исключение дубликатов. 11еобходимые на этом этапе преобразования перераспределяют значения в поле для получения возможности перемещения слов и извлекают значения для расщепленных атрибутов.
П Проверка допустимости к исправления. Эта процедура исследует каждый элемент данных источника на наличие ошибок. Обнаруженные ошибки автоматически исправляются (если это возможно). Проверка на наличие орфографических ошибок выполняется на основе просмотра словаря. Словари географических наименований и почтовых индексов помогают корректировать адресные данные. Атрибутивные зависимости (дата рождения— возраст, общая стоимость— цена за шт., город— региональный телефонный код и т. д.) могут использоваться для выявления проблем и замены утраченных или исправления неверных значений.
Стандартизация. Эта процедура преобразует данные в согласованный и унифицированный формат, что необходимо для их дальнейшего согласования и интеграции. Например, записи о дате и времени должны быть оформлены в специальном формате, имена и другие символьные данные должны конвертироваться либо в прописные, либо в строчные буквы и т. д. Текстовые данные могут быть сжаты и унифицированы с помощью выявления основы (шаблона), удаления префиксов, суффиксов и вводных слов. Более того, аббревиатуры и зашифрованные схемы подлежат согласованной расшифровке с помощью специального словаря синонимов или применения предопределенных правил конверсии.
После того как ошибки отдельных источников удалены, очищенные данные должны заменить загрязненные данные в исходных ОИД. Это необходимо для повышения качества данных в ОИД и исключения затрат на очистку при повторном использовании. После завершения преобразований над данными из отдельных источников можно приступать к их интеграции. При этом выполняются следующие процедуры.
Сопоставление данных, относящихся к одному элементу. Эта процедура устраняет противоречивость и дублирование данных из разных источников, относящихся к одному объекту предметной области. Для сопоставления записей из разных источников используются идентификационные атрибуты или комбинация атрибутов. Такими атрибутами могут выступать общие первичные ключи или другие общие уникальные атрибуты. К сожалению, без таких атрибутов процесс сопоставления данных затруднителен.
Слияние записей. Данная процедура объединяет интегрированные записи, относящиеся к одному объекту. Объединение выполняется, если информация из разных записей дополняет или корректирует одна другую.
Исключение дубликатов. Данная процедура удаляет дублирующие записи. Она производится либо над двумя очищенными источниками одновременно, либо над отдельным, уже интегрированным набором данных. Исключение дубликатов требует, в первую очередь, выявления (сопоставления) похожих записей, относящихся к одному и тому же объекту реального окружения.
Очищенные данные сохраняются в ХД и могут использоваться для анализа и принятия на их основе решений. За формирование аналитических запросов к данным и представление результатов их выполнения в СППР отвечают подсистемы анализа. От вида анализа также зависит и непосредственная реализация структур хранения данных в ХД.
2
8-47
Я
