- •Методичні вказівки
- •Содержание
- •Введение
- •Знакомство с программой интеллектуального анализа данных weka и подготовка данных Цель работы
- •Основные теоретические сведения
- •Формат файлов данных arff
- •Предварительная обработка данных
- •Отбор атрибутов
- •Нормализация данных
- •Дискретизация числовых атрибутов
- •Пропущенные значения
- •Выборка (sampling)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов классификации
- •Методы оценки ошибок классификации
- •Критерии сравнения работы классификаторов
- •Интерпретация результатов классификации в weka (Classifier output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Методы оценки качества прогнозирования
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Параметры настройки алгоритмов
- •Интерпретация результатов кластеризации в weka (Clusterer output)
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Интерпретация результатов
- •Задание на лабораторную работу
- •Контрольные вопросы
- •Содержание отчета
- •Литература
- •Приложение а. Интерфейс программы weka
- •Основное окно программы
- •Модуль Explorer
- •Загрузка и предварительная обработка данных (Preprocess)
- •Классификация (Classify)
- •Кластеризация (Cluster)
- •Ассоциативные правила (Associate)
- •Отбор атрибутов (Selecting attributes)
- •Визуализация (Visualizing)
- •Модуль Experimenter
- •Модуль Knowledge flow
- •Приложение б. Варианты индивидуальных заданий
- •Приложение в. Контрольная работа для заочников
Контрольные вопросы
1. В чем состоит задача поиска ассоциативных правил? Приведите практический пример?
2. Что такое частый набор?
3. Что такое сильное ассоциативное правило?
4. Из каких двух шагов состоит поиск ассоциативных правил?
5. Опишите каждый из рассмотренных методов, решающих задачу поиска ассоциативных правил?
6. В чем состоит принцип Apriori?
7. Как формируются правила из найденных частых наборов?
8. Опишите алгоритм Apriori
9. Что обозначают параметры support, confidence, lift, conviction, применяемые в алгоритме Apriori?
10. Опишите алгоритм ECLAT
11. Опишите алгоритм FPGrowth
Содержание отчета
1. Тема и цель работы
2. Задание к работе.
3. Результаты работы заданий п.5.3.
4. Ответы на контрольные вопросы.
5. Выводы, отображающие критический анализ результатов выполнения работы.
Литература
Барсегян А.А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP / А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод. – СПб.: БХВ-Петербург, 2007. – 384 с.
Чубукова И.А. Data Mining: учебное пособие / И.А. Чубукова. – М.: Интернет-университет информационных технологий: БИНОМ: Лаборатория знаний, 2006. – 382 с.
Witten, I.H. Data mining: practical machine learning tools and techniques.—3rd ed. / Ian H. Witten, Frank Eibe, Mark A. Hall. – Morgan Kaufmann Publishers, 2011. – 629 p.
Han J. Data Mining: Concepts and Techniques (Second Edition) / J. Han, M. Kamber – Morgan Kaufmann Publishers, 2006. – 800 p.
Weka 3: Data Mining Software in Java [Електронний ресурс] – Режим доступу: http://www.cs.waikato.ac.nz/ml/weka.
Weka 3 Wiki documentation [Електронний ресурс] – Режим доступу: http://weka.wikispaces.com/
Приложение а. Интерфейс программы weka
Рассмотрим возможности GUI интерфейса программы WEKA.
Основное окно программы
Основное окно программы - Weka GUI Chooser (рис. А.1). Опишем более подробно назначение управляющих элементов данного окна.
Рисунок А.1 – Основное окно программы WEKA
Основное окно программы предоставляет доступ к четырем модулям:
Explorer – среда для исследования данных;
Experimenter – среда для проведения сравнительного анализа работы различных алгоритмов при обработке одних и тех же наборов данных;
KnowledgeFlow – среда, которая поддерживает такую же функциональность, как и Explorer, но с применением графического представления потоков данных;
Workbench – среда, которая объединяет все три приведенные выше среды в одну с возможностью переключения представления;
SimpleCLI – командный интерфейс для непосредственного исполнения команд WEKA.
Главное меню программы состоит из четырех пунктов.
1. Program:
LogWindow – окно логов, которое сохраняет всю информацию, выводимую в потоки stdout или stderr;
Memory usage – использование памяти;
Settings – настройки интерфейса;
Exit – выход.
2. Tools:
Package manager – установка дополнительных пакетов (дополнительные алгоритмы, средства визуализации и т.п.);
ArffViewer – редактор arff-файлов;
SqlViewer – модуль просмотра баз данных, для SQL запросов к базам данных посредством JDBC;
Bayes net editor – модуль для редактирования, визуализации и обучения Байесовых сетей (Bayes nets).
3. Visualization – средства визуализации данных WEKA.
Plot – отображения 2D-графика набора данных;
ROC – отображение ранее сохраненной ROC-кривой;
TreeVisualizer – отображение направленных графов, т.е. деревьев решений;
GraphVisualizer – визуализация графики в формате XML BIF или DOT для Байесовых сетей;
BoundaryVisualizer – визуализация границ решений классификаторов в двух измерениях.
4. Help – раздел справочной информации.
Weka homepage – домашняя страница проекта WEKA;
HOWTOs, code snippets, etc. – WekaWiki, содержащая примеры, касающиеся разработки и использования WEKA;
Weka on Sourceforge – страница проекта WEKA на Sourceforge.net;
SystemInfo – значения некоторых переменных среды Java/WEKA.
