Задание на лабораторную работу

Часть А

1. Выполните следующие задания для набора данных ‘bank.arff’.

2. Запустите алгоритм кластеризации SimpleKMeans, задавая значения параметра K (количество кластеров) от 1 до 12 .

3. Запишите в таблицу значения сумм квадратичных ошибок, получаемых при различных значениях количества кластеров. Что означает данный параметр? Наблюдается ли какой-нибудь тренд в поведении значений данного параметра?

4. Для значения K=5 укажите:

• сколько кластеров было создано;

• сколько экземпляров попало в каждый из кластеров (указать количество и процент);

• сколько итераций понадобилось для кластеризации данных;

• составить таблицу с характеристиками центроидов каждого кластера.

5. Для значения K=5 визуализируйте результаты кластеризации (по оси абсцисс отложить название (номер) кластера, по оси ординат – номер экземпляра в кластере) и оцените полученные результаты:

• есть ли значительное различие в значениях атрибута «возраст» (age) между кластерами?

• в каких кластерах доминируют женщины (female), а в каких мужчины (male)?

• что можно сказать о значениях атрибута «регион» (region) в каждом кластере?

• что можно сказать о разбросе значений атрибута «доход» (income) между кластерами?

• в каких кластерах доминируют семейные люди (married), а в каких холостые (unmarried)?

• в какой кластер попало больше всего людей с машинами?

• в каких кластерах преобладают люди со сберегательными счетами (savings accounts)?

• что можно сказать о разбросе значений атрибута «текущий банковский счет» (current account) между кластерами?

• что можно сказать о разбросе значений атрибута «ипотека» (mortgage holdings) между кластерами?

• какие кластеры в основном состоят из людей, которые приобретают PEP (личный план покупки акций), и какие из людей, которые не приобретают его?

6. Запустите алгоритм кластеризации EM и ответьте на вопросы:

• сколько кластеров было создано;

• сколько экземпляров попало в каждый из кластеров (указать количество и процент);

• визуализируйте результаты кластеризации и оцените их (см. п.5).

Часть Б

7. Выполните следующие задания для набора данных ‘iris.arff’

8. Запустите алгоритм кластеризации SimpleKMeans со следующими настройками параметров K=2,3,4,5 и оцените качество кластеризации, сравнивая кластеры с предварительно заданным классами в данных:

• для каждого значения К запишите значение суммы квадратичных ошибок;

• что можно сказать о тренде суммы квадратичных ошибок и что может подразумевать данный тренд;

• для значения K=3, запишите в таблицу характеристики каждого центроида;

• для значения K=3 проанализируйте как соотносятся кластеры и значение целевого атрибута, сколько экземпляров было отнесено к «неправильным» кластерам, какой класс оказался «сложным» для выделения;

• для значения K=3 визуализируйте результаты, используя различные атрибуты для оси ординат (при визуализации экземпляры, обозначенные квадратами были отнесены к «неправильному» кластеру);

• определите, на что влияет параметр «seed», почему он важен при кластеризации методом k-средних;

• проведите эксперименты с различными значениями данного параметра и сравните получаемые результаты.

Часть В. Иерархическая кластеризация.

9. Загрузите набор данных ‘flagdata.arff. Данный файл представляет атрибуты флагов некоторых европейских стран. Выполните следующие задания:

• запустите алгоритм кластеризации COBWEB с параметром С=0,4 (0,35), saveInstanceData = True, cluster mode = Use training set;

• визуализируйте полученную дендрограмму и запишите ее, укажите какие страны в какой кластер попали;

• укажите, что общего у флагов, попавших в один кластер.

10. Загрузите набор данных ‘zoo.arff’ и выполните следующие задания:

• выберите из выборки примерно половину животных на свое усмотрение (например, млекопитающих);

• запустите алгоритм Hierarchical Clusterer (тип животного не использовать в кластеризации, а название предварительно при помощи фильтра преобразовать в строку – NominalToString);

• поэкспериментируйте с настройками алгоритма и визуализируйте результаты его работы (приведите дендрограмму);

• оцените, есть ли логический смысл в создаваемых кластерах.

Часть Г. Алгоритм DBScan

11. Для применения алгоритма плотностной кластеризации сгенерируйте набор данных при помощи алгоритма BIRCHCluster. В наборе сгенерируйте также флаг класса.

12. При помощи настроек метода DBScan добейтесь наилучшей кластеризации данных с точки зрения сопоставления классов и кластеров.

13. Кластеризуйте набор данных при помощи других алгоритмов. Какой из алгоритмов оказался наиболее эффективным?