- •Методичні вказівки
- •Содержание
- •Введение
- •Знакомство с программой интеллектуального анализа данных weka и подготовка данных Цель работы
- •Основные теоретические сведения
- •Формат файлов данных arff
- •Предварительная обработка данных
- •Отбор атрибутов
- •Нормализация данных
- •Дискретизация числовых атрибутов
- •Пропущенные значения
- •Выборка (sampling)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов классификации
- •Методы оценки ошибок классификации
- •Критерии сравнения работы классификаторов
- •Интерпретация результатов классификации в weka (Classifier output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Методы оценки качества прогнозирования
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов
- •Интерпретация результатов кластеризации в weka (Clusterer output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Интерпретация результатов
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Содержание отчета
- •Литература
- •Приложение а. Интерфейс программы weka
- •Основное окно программы
- •Модуль Explorer
- •Загрузка и предварительная обработка данных (Preprocess)
- •Классификация (Classify)
- •Кластеризация (Cluster)
- •Ассоциативные правила (Associate)
- •Отбор атрибутов (Selecting attributes)
- •Визуализация (Visualizing)
- •Модуль Experimenter
- •Модуль Knowledge flow
- •Приложение б. Варианты индивидуальных заданий
- •Приложение в. Контрольная работа для заочников
Кластеризация (Cluster)
Вкладка «Cluster» содержит схему обучения кластеризаторов (рис. А.4). Выбор функции кластеризации и настройка ее параметров происходят таким же образом, как и для рассмотренной выше задачи классификации.
Панель «Cluster mode» используется для того, чтобы определить, что кластеризовать и как оценивать результаты. Первые три опции такие же, как и для задачи классификации: Use training set, Supplied test set и Percentage split – при этом данные используются для отнесения к кластеру, а не для предсказания определенного класса. Четвертый метод «Classes to clusters evaluation» оценивает насколько хорошо был выбран кластер, сравнивая его с предварительно заданным классом в данных.
Рисунок А.4 – Вкладка решения задачи кластеризации
Дополнительная опция в виде чекбокса «Store clusters for visualization» определяет, возможно ли будет визуализировать кластеры по окончании обучения. При решении задач с очень большими объемами данных следует отключить данную опцию, чтобы избежать проблем с нехваткой памяти.
Кнопка «Ignoring Attributes» позволяет определить, какие атрибуты следует игнорировать при проведении кластеризации.
Вкладка Кластеризации также как и вкладка классификации содержит кнопки «Start/Stop», панель результатов и список результатов. Щелчок правой кнопкой мыши на записи в списке результатов дает контекстное меню с двумя опциями визуализации: Visualize cluster assignments и Visualize tree.
Ассоциативные правила (Associate)
Вкладка «Associate» содержит схему обучения ассоциативных правил (рис. А.5). Алгоритмы поиска ассоциативных правил выбираются, настраиваются и выполняются аналогично описанному выше.
Рисунок А.5 – Вкладка решения задачи поиска ассоциативных правил
Отбор атрибутов (Selecting attributes)
Отбор атрибутов включает перебор всех возможный комбинаций атрибутов данных для поиска подмножества атрибутов, дающих наилучший результат предсказания (рис. А.6).
Для этого должны быть настроены два объекта: оценщик атрибутов и метод поиска. Оценщик (Atribute Evaluator) определяет какой метод используется для назначения значимости каждого подмножества атрибутов, а метод поиска (Search Method) определяет стиль поиска подмножеств.
Панель «Attribute Selection Mode» имеет два параметра:
Use full training set – значимость подмножества атрибутов определяется для полного набора обучающих данных;
Cross-validation (Скользящий контроль, кросс-проверка) – значимость подмножества атрибутов определяется при помощи кросс-проверки. Поля Fold и Seed определяют количество блоков (folds) и случайный сид (seed), используемый при перетасовке данных.
Рисунок А.6 – Вкладка решения задачи отбора атрибутов
Внизу находится выпадающий список, который задает целевой атрибут, который будет использоваться в качестве класса.
По нажатию кнопки «Start» запускается процесс отбора атрибутов. Когда процесс закончен, результаты выводятся на панель результатов «Attribute selection output» и добавляются в список результатов. Нажатие правой кнопки мыши на результаты выдает контекстное меню. Первые три пункта этого меню (View in main window, View in separate window and Save result buffer) такие же как и для вкладки классификации. Дополнительными являются Visualize reduced data, или если был выбран метод Principal-Components, Visualize transformed data.
