Визуализация (Visualizing)
Данная вкладка позволяет представить исходные данные в графическом виде (рис. А.7).
Рисунок А.7 – Вкладка визуализации исходных данных
При открытии вкладки визуализации данных отображается диаграмма разброса данных для всех атрибутов с цветовой кодировкой согласно выбранному классу. Размеры каждой из диаграмм могут быть изменены, могут быть изменены размеры точек. В данные может быть добавлен шум (jitter) для обнаружения «слабых» точек. Кроме того, каждый график может быть открыт в отдельном окне нажатием на него.
Для применения любых внесенных в настройки изменений и обновления информации на графиках необходимо нажать кнопку «Update».
На графике можно выбрать отдельные точки при помощи выпадающего списка «Select Instance» . На графике можно оставить только выбранные точки, их же можно сохранить в новый файл.
Модуль Experimenter
Данный модуль позволяет проводить эксперименты: запускать несколько алгоритмов на нескольких задачах и получать сводный отчет.
Вкладка «Setup» (рис. А.8). На вкладке изначально активны две кнопки: «Open» (открыть файл эксперимента) и «New» (создать новый эксперимент), а также две опции списка параметров эксперимента: «Simple» (простой), «Advanced» (для «продвинутых» пользователей).
Рисунок А.8 – Установка параметров эксперимента
Создадим новый эксперимент. При нажатии на кнопку «New» активируются все опции. На панели «Result Destination» необходимо выбрать файл для записи отчета. По умолчанию файл результатов имеет расширение arff, поэтому не затрите файлы исходных данных.
На панели «Experiment Type» выбирается тип эксперимента:
Cross-validation (default) – проводить верификацию методом контроля по блокам/фолдам;
Train/Test Percentage Split (data randomized) – процентное разделение выборки на контроль/обучение со случайным порядком следования экземпляров;
Train/Test Percentage Split (order preserved) – процентное разделение выборки с сохранением порядка; применяется в том случае, если в одном файле хранится и обучающая и тестовая выборка.
На панели «Iteration Control» выбирается число итераций (повторений экспериментов). При повторениях происходят новые разбиения на обучение/контроль и на фолды. Также здесь указывается порядок проведения эксперимента (перебирать сначала все задачи или все алгоритмы).
На панели «Datasets» можно выбрать наборы данных, на панели «Algorithms» – алгоритмы (параметры их выбираются аналогично тому, как это делалось в модуле «Explorer»).
Вкладка «Run». Единственная кнопка «Start» запускает эксперимент на выполнение.
Вкладка «Analyze» (рис. 1.9) позволяет анализировать результаты экспериментов. На панели «Source» выбирается эксперимент для анализа (только что проведенный или записанный в файле).
На панели «Configure test» определяется вид статистики для анализа. Кнопка «Row» позволяет выбрать данные, которые будут записаны в строках выводимой матрицы (для примера выберем из открывшегося списка Dataset), а кнопка Column – что будет записано по столбцам (выберем Scheme). В поле Comparison field выбирается тип данных, которыми будет заполнена таблица (выбор Percent_correct обеспечивает заполнение процентами верной классификации).
Сравнение результатов работы алгоритмов выполняется при помощи критерия Стьюдента (t- test, Student’s t-test).
Для генерации отчета необходимо нажать кнопку «Perform test».
На рис. А.9. показана статистика работы трех алгоритмов на задаче «iris».
В результате эксперимента было выполнено 10 итераций (обучение и тестирование), на каждой из которых выборка разбивалась в соотношении 66% экземпляров для обучения и 34% – для тестирования.
Рисунок А.9 – Оценка результатов эксперимента
В колонках статистики указаны методы классификации, а в строках – наборы данных (задачи).
Процент правильно классифицированных экземпляров для трех методов показан в строке, соответствующей набору данных iris: 33,33% для ZeroR, 94,31% для OneR и 94,90% для J48.
Отметка «v» или «*» означает, что данный результат статистически лучше (v) или хуже (*), чем алгоритм выбранный в качестве базового (baseline scheme, в данном случае это ZeroR) при указном уровне значимости (significance, в данном случае 0,05). Результаты двух алгоритмов OneR и J48 статистически лучше, чем результаты базового алгоритма ZeroR.
Внизу каждой колонки находится значение (xx/yy/zz), которое показывает количество раз (по количеству строк) в которых результаты работы алгоритма, находящегося в названии столбца, были лучше (xx), такие же (yy) или хуже (zz), чем результаты базового алгоритма на наборах данных, использовавшихся в эксперименте.
В данном примере был только один набор данных и OneR один раз был лучше чем ZeroR и никогда хуже или эквивалентен ему (1/0/0); J48 также один раз был лучше, чем ZeroR.
Значение «(10)» в начале строки, соответствующей набору данных «iris», определяет количество запусков эксперимента.
Выбирая «Number_correct» в качестве значения для сравнения (comparison field), в статистике получаем среднее количество верно распознанных экземпляров для тестовой выборки (из 50 тестовых экземпляров, что является 33% от общего количества в 150 экземпляров для набора данных «iris»).
Базовый алгоритм для сравнения может быть изменен при помощи кнопки «Test base».
Выбрав опцию «Summary» в качестве базы для сравнения, получим следующую информацию.
a b c (No. of datasets where [col] >> [row])
- 1 (1) 1 (1) | a = (1) rules.ZeroR
0 (0) - 1 (0) | b = (2) rules.OneR
0 (0) 0 (0) - | c = (3) trees.J48
В данном эксперименте первая строка (- 1 1) показывает, что метод в колонке b (OneR) лучше, чем метод в строке a (ZeroR) и метод в колонке c (J48) также лучше метода в строке a. Значение в скобках представляет количество статистически значимых побед колонки по отношению к строке. Значение 0 показывает, что соответствующий столбец не был статистически лучше строки.
Выбрав опцию «Ranking» в качестве базы для сравнения, получим следующую информацию.
>-< > < Resultset
1 1 0 trees.J48
1 1 0 rules.OneR
-2 0 2 rules.ZeroR
Данный тест ранжирует методы по общему количеству значимых побед (>) и поражений ( <) против других методов. Первая колонка (> − <) показывает разницу между количество побед и поражений.