Этап 3. Подготовка данных

Цель этапа: разработка базы данных для Data Mining.

Подготовка данных – важный этап, от качества выполнения которого зависит возможность получения качественных результатов всего процесса Data Mining. На этап подготовки данных может быть потрачено до 80% всего времени, отведенного на проект.

Этап подготовки данных включает:

1. Определение и анализ требований к данным - осуществляется моделирование данных: определение и анализ требований к данным. Изучаются вопросы распределения пользователей (географическое, организационное, функциональное); вопросы доступа к данным, которые необходимы для анализа, необходимость во внешних и/или внутренних источниках данных; аналитические характеристики системы (измерения данных, виды выходных документов, последовательность преобразования информации и др.).

2. Сбор данных - наличие в организации хранилища данных делает анализ проще и эффективней и дешевле, чем использование отдельных БД. Но не все предприятия оснащены хранилищами данных. В этом случае источником для исходных данных являются оперативные, справочные и архивные БД, т.е. данные из существующих информационных систем (ИС).

Также для Data Mining может потребоваться информация из ИС руководителей, внешних источников, бумажных носителей, знания экспертов или результаты опросов.

В процессе подготовки данных аналитики и разработчики не должны привязываться к показателям, которые есть в наличии, и описать максимальное количество факторов и признаков, влияющих на анализируемый процесс.

На этом этапе осуществляется кодирование некоторых данных.

Определение необходимого количества данных - следует учитывать, являются ли данные упорядоченными или нет.

Если данные упорядочены и имеем дело с временными рядами, желательно знать, включает ли такой набор данных сезонную/цикличную компоненту. В случае присутствия в наборе данных сезонной/цикличной компоненты, необходимо иметь данные как минимум за один сезон/цикл.

Если данные не упорядочены, то есть события из набора данных не связаны по времени, в ходе сбора данных следует соблюдать учитывать следующее:

- количество записей в наборе – при недостаточном количестве записей в наборе данных может быть построена некорректная модель. Точность модели увеличивается с увеличением количества исследуемых данных.

- соотношение количества записей в наборе и количества входных переменных.

3. Предварительная обработка данных – необходима для обеспечения качественного анализа

Данные, полученные в результате сбора, должны соответствовать определенным критериям качества. Важный подэтап процесса Data Mining - оценивание качества данных.

Качество данных (Data quality) - это критерий, определяющий полноту, точность, своевременность и возможность интерпретации данных.

Данные могут быть качественные и некачественные.

Данные низкого качества - это так называемые грязные или "плохие" данные.

Данные высокого качества - это полные, точные, своевременные данные, которые поддаются интерпретации. Они обеспечивают получение качественного результата: знаний, которые смогут поддерживать процесс принятия решений.

Данные низкого качества (грязные данные) - это отсутствующие, неточные или бесполезные данные с точки зрения практического применения (представленные в неверном формате и др.).

Типы грязных данных:

• грязные данные, которые могут быть автоматически обнаружены и очищены;

• данные, появление которых может быть предотвращено;

• данные, которые непригодны для автоматического обнаружения и очистки ;

• данные, появление которых невозможно предотвратить.

Специальные средства очистки могут справиться не со всеми видами грязных данных.

Наиболее распространенные виды грязных данных: пропущенные значения; дубликаты данных; шумы и выбросы.

Как мы можем поступить с пропущенными данными?

• Исключить объекты с пропущенными значениями из обработки.

• Рассчитать новые значения для пропущенных данных.

• Игнорировать пропущенные значения в процессе анализа.

• Заменить пропущенные значения на возможные значения.

Дубликатами называются записи с одинаковыми значениями всех атрибутов.

Существует два варианта обработки дубликатов. При первом варианте удаляется вся группа записей, содержащая дубликаты. Этот вариант используется в случае, если наличие дубликатов вызывает недоверие к информации, полностью ее обесценивает. Второй вариант состоит в замене группы дубликатов на одну уникальную запись.

Шумы и выбросы - общая проблема в анализе данных.

Выбросы - резко отличающиеся объекты или наблюдения в наборе данных.

Выбросы могут представлять собой отдельные наблюдения, так и быть объединенными в некие группы. Задача аналитика - не только их обнаружить, но и оценить степень их влияния на результаты дальнейшего анализа. Если выбросы являются информативной частью анализируемого набора данных, используют робастные методы и процедуры.

Различные методы Data Mining имеют разную чувствительность к выбросам, это необходимо учитывать при выборе метода анализа данных. Некоторые инструменты Data Mining имеют встроенные процедуры очистки от шумов и выбросов.

Визуализация данных позволяет представить данные и выбросы, в графическом виде. Результаты Data Mining на основе грязных данных не могут считаться надежными и полезными.