- •Методичні вказівки
- •Содержание
- •Введение
- •Знакомство с программой интеллектуального анализа данных weka и подготовка данных Цель работы
- •Основные теоретические сведения
- •Формат файлов данных arff
- •Предварительная обработка данных
- •Отбор атрибутов
- •Нормализация данных
- •Дискретизация числовых атрибутов
- •Пропущенные значения
- •Выборка (sampling)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов классификации
- •Методы оценки ошибок классификации
- •Критерии сравнения работы классификаторов
- •Интерпретация результатов классификации в weka (Classifier output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Методы оценки качества прогнозирования
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов
- •Интерпретация результатов кластеризации в weka (Clusterer output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Интерпретация результатов
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Содержание отчета
- •Литература
- •Приложение а. Интерфейс программы weka
- •Основное окно программы
- •Модуль Explorer
- •Загрузка и предварительная обработка данных (Preprocess)
- •Классификация (Classify)
- •Кластеризация (Cluster)
- •Ассоциативные правила (Associate)
- •Отбор атрибутов (Selecting attributes)
- •Визуализация (Visualizing)
- •Модуль Experimenter
- •Модуль Knowledge flow
- •Приложение б. Варианты индивидуальных заданий
- •Приложение в. Контрольная работа для заочников
Модуль Knowledge flow
Интерфейс KnowledgeFlow отражает концепцию потоков данных (рис. А.10).
Сначала строится весь путь, который должны пройти данные, от их источников до их выходов. Путь стоится из примитивов различных видов, обычно он таков: источник данных (DataSources) – фильтр (Filter) (необязателен) – разбивка на обучающее и тестовое множество (Evaluation) – классификатор (Classifiers) (кластеризатор (Clusterers), ассоциатор (Associators)) – оценка (Evaluation) – вывод данных (DataSinks). Практически к любому этапу можно присоединить отображение различных видов (Visualization).
Рисунок А.10 – Модуль Knowledge flow
Примитивы перетаскиваются в рабочее поле из соответствующих вкладок (клик на примитив – клик на рабочее поле). Входы и выходы примитивов соединяются связями, причем нельзя соединить разнотипные по данным выходы и входы. У примитива может быть несколько выходов с разными данными. Связи тоже бывают разные, в зависимости от того, какие данные по ним передаются (из какого выхода они идут). Связываются примитивы путем выбора в меню, появляющимся при клике правой кнопкой мыши на примитиве в рабочем поле, в подпункте меню Connection определенного выхода примитива и последующим клике на примитив, с которым следует установить связь. Все примитивы, доступные для связи, при этом выделяются.
После прокладки пути при помощи источника данных загружают данные, и они автоматически проходят весь построенный путь.
Рассмотрим пример построения потока данных, приведенного на рис. А.10.
На вкладке источников данных «DataSources» выбрать загрузчик данных «ArffLoader» и разместить его на рабочем поле.
Выбрать arff файл для загрузки: щелкнуть правой кнопкой мыши на загрузчике, размещенном на поле, и выбрать из выпадающего списка в секции «Edit» пункт «Configure».
На вкладке «Evaluation», выбрать компонент «ClassAssigner» (позволяет выбрать целевой атрибут) и разместить его на поле.
Теперь необходимо соединить компоненты «ArffLoader» и «ClassAssigner». Для этого необходимо щелкнуть правой кнопкой мыши на загрузчике «ArffLoader» и из выпадающего списка выбрать в секции «Connections» пункт «dataSet». Появится синяя линия, которую необходимо подвести к иконке компонента «ClassAssigner» на поле и щелкнуть на нем левой кнопкой мыши. Появится красная линия потока данных с подписью «dataSet», соединяющая два компонента.
Вызвать настройки компонента «ClassAssigner» и выбрать целевой атрибут (класс).
Из вкладки «Evaluation» выбрать компонент «CrossValidationFoldMaker» и разместить его на рабочем поле. Соединить «ClassAssigner» и «CrossValidationFoldMaker» связью «dataSet».
Из вкладки «Classifiers» в секции «Trees» выбрать компонент «J48» и разместить его на рабочем поле. Соединить «CrossValidationFoldMaker» и «J48» двумя связями: «trainingSet» и «testSet».
Из вкладки «Evaluation» выбрать и разместить на рабочем поле компонент «ClassifierPerformanceEvaluator». Соединить «J48» с этим компонентом связью «batchClassifier».
Из вкладки «Visualization» выбрать компонент «TextViewer» и разместить его на рабочем поле. Соединить «ClassifierPerformanceEvaluator» с этим компонентом связью «Text».
Запустить обработку потока данных при помощи пункта «Start loading» в выпадающем списке загрузчика «ArffLoader». Во время обработки будет отображена анимация некоторых из компонентов в рабочей области и появится информация в нижней части окна «Status»/«Log».
По окончании обработки данных просмотреть результаты можно вызвав пункт «Show results» компонента «TextViewer».
Кроме того, можно подключить компонент «TextViewer» и/или «GraphViewer» к «J48» для того, чтобы увидеть представление деревьев, построенных на каждом из фолдов кросс-проверки. Такая возможность не предусмотрена в модуле Explorer.
