Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Stekh_Pitannya-Vidpovid_NORM.doc
Скачиваний:
1
Добавлен:
01.04.2025
Размер:
7 Мб
Скачать
☆
  1. Очистка даних. Основні проблеми.

Одной из важных задач, решаемых при переносе данных в ХД, является их очистка. С одной стороны, данные загружаются постоянно из различных ис­точников, поэтому вероятность попадания "грязных данных" весьма высока. С другой стороны, ХД используются для принятия решений, и "грязные дан­ные" могут стать причиной принятия неверных решений. Таким образом, процедура очистки является обязательной при переносе данных из ОИД в ХД. Ввиду большого спектра возможных несоответствий в данных их очист­ка считается одной из самых крупных проблем в технологии ХД. Основные проблемы очистки данных можно классифицировать по следующим уровням:

П уровень ячейки таблицы;

П уровень записи;

  • уровень таблицы БД;

D уровень одиночной БД;

  • уровень множества БД.

Рассмотрим перечисленные уровни и соответствующие им проблемы более

подробно.

Уровень ячейки таблицы. На данном уровне задача очистки заключается в

анализе и исправлении ошибок в данных, хранящихся в ячейках таблиц БД.

К таким ошибкам можно отнести следующие.

  1. Орфографические ошибки (опечатки)— возникают при вводе информа­ции. Они могут привести к неправильному пониманию, а также к искаже­нию реальных данных. Например, при продаже товара вместо количества 1000 было введено 10 ООО или вместо названия товара "Водка" было вве­дено название "Вода".

  2. Отсутствие данных — такие ошибки происходят из-за отсутствия у опера­тора соответствующих данных при вводе информации. Главной задачей OLTP-систем является обеспечение ежедневных операций с данными, по­этому оператор может пропустить ввод неизвестных ему данных, а не тра­тить время на их выяснение. Как следствие, в БД могут оставаться неза­полненные ячейки (содержащие значение NULL).

  3. Фиктивные значения— это значения, введенные оператором, но не имеющие смысла Наиболее часто такая проблема встречается в полях, обязательных для заполнения, но при отсутствии у оператора реальных данных он вынужден вводить бессмысленные данные, например: номер социального страхования 999-99-9999, или возраст клиента 999, или поч­товый индекс 99999. Проблема усугубляется, если существует вероятность появления реальных данных, которые могут быть приняты за фиктивные, например, номер социального страхования 888-88-8888 для указания на статус клиента-иностранца "нерезидент" или месячный доход в размере $99 999,99 для указания на то, что клиент имеет работу.

  4. Логически неверные значения — значения, не соответствующие логиче­скому смыслу, вкладываемому в данное поле таблицы. Например, в поле "Город" находится значение "Россия", или в поле "температура больного" значение 10.

  5. Закодированные значения — сокращенная запись или кодировка реальных данных, используемая для уменьшения занимаемого места.

  6. Составные значения — значения, содержащие несколько логических дан­ных в одной ячейке таблицы. Такая ситуация возможна в полях произ­вольного формата (например, строковых или текстовых). Проблема усу­губляется, если отсутствует строгий формат записи информации в такие поля.

Уровень записи. На данном уровне возникает проблема противоречивости значений в разных полях записи, описывающей один и тот же объект пред­метной области, например, когда возраст человека не соответствует его году рождения- age = 22, bdate = 12.02.50.

Уровень таблицы БД На данном уровне возникают проблемы, связанные с несоответствием информации, хранящейся в таблице и относящейся к раз­ным объектам. На этом уровне наиболее часто встречаются следующие про­блемы.

П Нарушение уникальности. Значения, соответствующие уникальным атри­бутам разных объектов предметной области, являются одинаковыми.

  • Отсутствие стандартов. Из-за отсутствия стандартов на формат записи значений могут возникать проблемы, связанные с дублированием данных или с их противоречивостью:

  • дублирующиеся записи (один и тот же человек записан в таблицу два раза, хотя значения полей уникапьны):

empl=(name="John Smith", ...); emp2=(name="J.Smith", ...);

  • противоречивые записи (об одном человеке в разных случаях введена разная информация о дате рождения, хотя значения полей уникальны):

empl=(name="John Smith", bdate=12.02.70) ; етр2=(name="J.Smith", bdate=12.12.70);

Уровень одиночной БД. На данном уровне, как правило, возникают пробле­мы, связанные с нарушением целостности данных.

Уровень множества БД. На этом уровне возникают проблемы, связанные с неоднородностью как структур БД, так и хранящейся в них информации. Можно выделить следующие основные проблемы этого уровня:

П различие структур БД (различие наименований полей, типов, размеров и др.);

П в разных БД существуют одинаковые наименования разных атрибутов;

П в разных БД одинаковые данные представлены по-разному;

П в разных БД классификация элементов разная;

П в разных БД временная градация разная;

П в разных БД ключевые значения, идентифицирующие один и тот же объ­ект предметной области, разные и т. п.

При решении задачи очистки данных, прежде всего, необходимо отдавать себе отчет в том, что не все проблемы могут быть устранены. Возможны си­туации, когда данные не существуют и не могут быть восстановлены, вне за­висимости от количества приложенных усилий. Встречаются ситуации, когда значения настолько запутаны или найдены в стольких несопоставимых мес­тах с такими на вид различными и противоположными значениями одного и того же факта, что любая попытка расшифровать эти данные может породить еще более неверные результаты, и, возможно, лучшим решением будет отка­заться от их обработки. На самом деле не все данные нужно очищать. Как уже отмечалось, процесс очистки требует больших затрат, поэтому те дан­ные, достоверность которых не влияет на процесс принятия решений, могут оставаться неочищенными.

В целом, очистка данных включает в себя несколько этапов:

  • выявление проблем в данных;

  • определение правил очистки данных;

  • тестирование правил очистки данных;

П непосредственная очистка данных.

Выявление проблем в данных. Для выявления подлежащих удалению видов ошибок и несоответствий необходим подробный анализ данных. Наряду с ручной проверкой следует использовать аналитические программы. Суще­ствует два взаимосвязанных метода анализа: профайлинг данных и Data Mining.

Профсштшг данных ориентирован на грубый анализ отдельных атрибутов данных. При этом происходит получение, например, такой информации, как тип, длина, спектр значений, дискретные значения да.чных и их частота, из­менение, уникальность, наличие неопределенных значений, типичных стро­ковых моделей (например, для номеров телефонов) и др.. что позволяет обес­печить точное представление различных аспектов качества атрибута.

Data Mining помогает найти специфические модели в больших наборах дан­ных, например отношения между несколькими атрибутами. Именно на это направлены так называемые описательные модели Data Mining, включая группировку, обобщение, поиск ассоциаций и последовательностей. При этом могут быть получены ограничения целостности в атрибутах, например, функциональные зависимости или характерные для конкретных приложений бизнес-правила, которые можно использовать для восполнения утраченных и исправления недопустимых значений, а также для выявления дубликатов записей в источниках данных. Например, правило объединения с высокой вероятностью может предсказать проблемы с качеством данных в элементах данных, нарушающих это правило. Таким образом, 99%-я вероятность пра­вила "итого = количество х единицу" демонстрирует несоответствие и по­требность в более детальном исследовании для оставшегося 1 % записей.

Определение правил очистки данных. В зависимости от числа источников данных, степени их неоднородности и загрязненности, они могут требовать достаточно обширного преобразования и очистки. Первые шаги по очистке данных могут скорректировать проблемы отдельных источников данных и подготовить данные для интеграции. Дальнейшие шаги должны быть направ­лены на интеграцию данных и устранение проблем множественных источ­ников.

На этом этапе необходимо выработат ь общие правила преобразования, часть из которых должна быть представлена в виде программных средств очистки.

Тестирование правил очистки данных. Корректность и эффективность правил очистки данных должны тестироваться и оцениваться, например, на копиях данных источника. Это необходимо для выяснения целесообразности корректировки правил с целыо их улучшения или исправления ошибок.

Этапы определения правил и их тестирование могут выполняться итерацион­но несколько раз, например, из-за того, что некоторые ошибки становятся заметны только после определенных преобразований.

Непосредственная очистка данных. На этом этапе выполняются преобразо­вания ь соответствии с определенными ранее правилами. Очистка выполня­ется в два приема. Сначала устраняются проблемы, связанные с отдельными источниками данных, а затем — проблемы множества БД.

Над отдельными ОИД выполняются следующие процедуры.

  • Расщепление атрибутов. Данная процедура извлекает значения из атри­бутов свободного формата для повышения точности представления и под­держки последующих этапов очистки, таких как сопоставление элементов данных и исключение дубликатов. 11еобходимые на этом этапе преобразо­вания перераспределяют значения в поле для получения возможности пе­ремещения слов и извлекают значения для расщепленных атрибутов.

П Проверка допустимости к исправления. Эта процедура исследует каж­дый элемент данных источника на наличие ошибок. Обнаруженные ошиб­ки автоматически исправляются (если это возможно). Проверка на нали­чие орфографических ошибок выполняется на основе просмотра словаря. Словари географических наименований и почтовых индексов помогают корректировать адресные данные. Атрибутивные зависимости (дата рож­дения— возраст, общая стоимость— цена за шт., город— региональный телефонный код и т. д.) могут использоваться для выявления проблем и замены утраченных или исправления неверных значений.

  • Стандартизация. Эта процедура преобразует данные в согласованный и унифицированный формат, что необходимо для их дальнейшего согласо­вания и интеграции. Например, записи о дате и времени должны быть оформлены в специальном формате, имена и другие символьные данные должны конвертироваться либо в прописные, либо в строчные буквы и т. д. Текстовые данные могут быть сжаты и унифицированы с помощью выявления основы (шаблона), удаления префиксов, суффиксов и вводных слов. Более того, аббревиатуры и зашифрованные схемы подлежат согла­сованной расшифровке с помощью специального словаря синонимов или применения предопределенных правил конверсии.

После того как ошибки отдельных источников удалены, очищенные данные должны заменить загрязненные данные в исходных ОИД. Это необходимо для повышения качества данных в ОИД и исключения затрат на очистку при повторном использовании. После завершения преобразований над данными из отдельных источников можно приступать к их интеграции. При этом вы­полняются следующие процедуры.

  • Сопоставление данных, относящихся к одному элементу. Эта процеду­ра устраняет противоречивость и дублирование данных из разных источ­ников, относящихся к одному объекту предметной области. Для сопостав­ления записей из разных источников используются идентификационные атрибуты или комбинация атрибутов. Такими атрибутами могут выступать общие первичные ключи или другие общие уникальные атрибуты. К со­жалению, без таких атрибутов процесс сопоставления данных затрудните­лен.

  • Слияние записей. Данная процедура объединяет интегрированные запи­си, относящиеся к одному объекту. Объединение выполняется, если ин­формация из разных записей дополняет или корректирует одна другую.

  • Исключение дубликатов. Данная процедура удаляет дублирующие запи­си. Она производится либо над двумя очищенными источниками одновре­менно, либо над отдельным, уже интегрированным набором данных. Исключение дубликатов требует, в первую очередь, выявления (сопостав­ления) похожих записей, относящихся к одному и тому же объекту реаль­ного окружения.

Очищенные данные сохраняются в ХД и могут использоваться для анализа и принятия на их основе решений. За формирование аналитических запросов к данным и представление результатов их выполнения в СППР отвечают под­системы анализа. От вида анализа также зависит и непосредственная реали­зация структур хранения данных в ХД.

2 8-47

Я

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]