- •Методичні вказівки
- •Содержание
- •Введение
- •Знакомство с программой интеллектуального анализа данных weka и подготовка данных Цель работы
- •Основные теоретические сведения
- •Формат файлов данных arff
- •Предварительная обработка данных
- •Отбор атрибутов
- •Нормализация данных
- •Дискретизация числовых атрибутов
- •Пропущенные значения
- •Выборка (sampling)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов классификации
- •Методы оценки ошибок классификации
- •Критерии сравнения работы классификаторов
- •Интерпретация результатов классификации в weka (Classifier output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Методы оценки качества прогнозирования
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов
- •Интерпретация результатов кластеризации в weka (Clusterer output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Интерпретация результатов
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Содержание отчета
- •Литература
- •Приложение а. Интерфейс программы weka
- •Основное окно программы
- •Модуль Explorer
- •Загрузка и предварительная обработка данных (Preprocess)
- •Классификация (Classify)
- •Кластеризация (Cluster)
- •Ассоциативные правила (Associate)
- •Отбор атрибутов (Selecting attributes)
- •Визуализация (Visualizing)
- •Модуль Experimenter
- •Модуль Knowledge flow
- •Приложение б. Варианты индивидуальных заданий
- •Приложение в. Контрольная работа для заочников
Модуль Explorer
Это основной модуль программы, который позволяет загрузить и предобработать данные (вкладка Preprocess), решить задачу классификации или регрессии (Classify), кластеризации (Cluster), поиска ассоциативных правил (Associate), отбора атрибутов (Select Attributes), визуализации (Visualize).
Каждая задача имеет свою вкладку в общем окне. Сначала доступна только вкладка Preprocess, поскольку для выполнения остальных задач нужны данные. Отметим, что последовательность вкладок не всегда соответствует этапам решения задачи. Например, после загрузки данных можно перейти к отбору атрибутов.
Внизу каждой вкладки отображается строка статуса. Правый щелчок на строке статуса выдает контекстное меню:
Memory information – количество доступной памяти;
Run garbage collector – запуск сборщика мусора Java, которые очищает области памяти, которые больше не используются, позволяя освободить память для новых задач.
Кнопка «LOG» позволяет увидеть лог событий происшедших за время работы WEKA.
В правой части статусной строки изображена птичка Уе. Если она движется, то программа производит вычисления, если сидит неподвижно, то программа находится в режиме ожидания. После значка «Х» отображается число запущенных процессов.
Загрузка и предварительная обработка данных (Preprocess)
Изначально на первой вкладке «Preprocess» вверху окна активны четыре кнопки, которые позволяют загрузить данные из файла (Open file), либо из удаленного источника (Open URL), либо из базы данных (Open DB), либо сгенерировать данные (Generate).
После загрузки файла или генерации данных в окне появляется информация о данных (рис. А.2).
Нажатие на кнопку «Edit» позволяет редактировать исходные данные в табличной форме (появляется окно «Viewer»).
Панель «Current relation» содержит 3 значения:
Relation – название отношения (задачи), которое было указано в файле, применение фильтров может изменять данное название;
Instances – количество экземпляров (записей/объектов);
Attributes – количество атрибутов (признаков).
Ниже находится панель «Attributes» (атрибуты или другими словами характеристики объектов выборки данных). На ней находятся четыре кнопки и список атрибутов. Атрибуты расположены в том порядке, в котором они определены в файле данных. Список содержит три колонки:
No – идентифицирующий номер атрибута, используется при указании атрибута в фильтрах (attributeIndex);
Selection tick boxes - позволяет выбрать атрибут для дальнейших операций (как правило для удаления) ;
Name – имя атрибута, обозначенное в файле данных.
Рисунок А.2 – Вкладка для загрузки и предварительной обработки
При выборе одного из атрибутов, его имя подсвечивается в списке синим цветом и изменяется содержимое правой панели «Selected attribute»:
Name – имя атрибута;
Type – тип атрибута Nominal либо Numeric;
Missing – количество и процент экземпляров, для которых значение этого атрибута потеряно (не определено) ;
Distinct – количество различных значений атрибута;
Unique – количество и процент экземпляров, для которых значение атрибута имеет уникальное значение (такого значения данного атрибута нет ни у одного другого экземпляра).
Ниже этой статистики отображается информация о значениях данного атрибута. Если атрибут имеет тип nominal (номинальный или категориальный, значение из определенного множества), список будет содержать все возможные значения атрибута с количеством их появлений. Если атрибут имеет тип numeric (числовой), то список представит следующую статистическую информацию: минимум, максимум, математическое ожидание и стандартное отклонение.
Ниже представлена цветная гистограмма, которая в зависимости от атрибута, выбранного в качестве определяющего класс (целевого), показывает распределение значений атрибутов. Можно посмотреть гистограммы всех атрибутов нажатием кнопки «Visualize all».
Выше списка всех атрибутов находятся кнопки, позволяющие выбирать атрибуты (при помощи чекбоксов). Выбранные таким образом атрибуты можно удалить кнопкой «Remove».
Вкладка предварительной обработки данных позволяет отфильтровать и преобразовать данные в необходимый формат.
Слева на панели «Filter» находится кнопка выбора фильтра «Choose». C ее помощью можно выбрать один из предварительно определенных фильтров. После выбора фильтра из иерархического списка его название появится справа от кнопки «Choose». Щелчок по названию фильтра вызывает диалоговое окно настройки его параметров (The GenericObjectEditor Dialog Box). Все поля данного окна имеют всплывающие подсказки о назначении фильтра и его параметрах.
Такое же диалоговое окно используется при настройке других объектов программы WEKA, например, настройка классификаторов и кластеризаторов.
Внизу окна настроек находятся 4 кнопки. Первые две, «Open...» и «Save...», позволяют сохранить настройки объекта для будущего использования. Кнопка «Cancel» позволяет вернуться без сохранения проведенных изменений. По нажатию кнопки «OK» изменения сохраняются, и пользователь возвращается в «Explorer window».
По нажатию на кнопку «Apply», расположенную в правой части панели «Filter», происходит фильтрация (предобработка) исходных данных в соответствии с выбранным алгоритмом. Кнопка «Undo» предназначена для отмены произведенных с данными операций. Все изменения, проводимые с данными в программе, происходят в оперативной памяти и не влияют на исходный файл. Для сохранения измененных данные в новом файле предназначена кнопка «Save».
Замечание! Некоторые фильтры при своей работе принимаюn в качестве параметра атрибут класса, задаваемый при помощи выпадающего списка над гистограммой. Так, например, «supervised filters» требуют, чтоб класс был задан, в то время, когда «unsupervised attribute filters» не принимают его во внимание.
