- •Лабораторна робота №1 Інтелектуальний аналіз даних за допомогою програмного пакета weka
- •Регресійний аналіз
- •Створення набору даних для завантаження в weka
- •Файл даних для завантаження в weka
- •Завантаження даних в weka
- •Створення регресійної моделі в weka
- •Інтерпретація результатів регресійного аналізу
- •Готова модель регресійного аналізу
- •Розрахунок вартості будинку на базі готової моделі
- •Модель регресійного аналізу для визначення mpg
- •Обчислення показника mpg
- •Класифікація, кластеризація і метод найближчих сусідів
- •Регресійний аналіз
- •Класифікація
- •Кластеризація
- •Метод найближчих сусідів
- •Класифікація
- •Просте класифікаційне дерево
- •Набір даних для weka
- •Класифікація в weka
- •Результат роботи класифікаційної моделі weka
- •Кластеризація
- •Короткий огляд математичних методів
- •Набір даних для weka
- •Дані для кластерного аналізу засобами weka
- •Кластеризація в weka
- •Результати кластеризації
- •Лабораторна робота №3 Інтелектуальний аналіз даних за допомогою програмного пакета weka. Метод найближчих сусідів. Вступ
- •Метод найближчих сусідів
- •Математичний алгоритм методу найближчих сусідів
- •Математична модель методу найближчих сусідів
- •Набір даних для weka
- •Реалізація методу найближчих сусідів у weka
- •Контрольні запитання
- •Лабораторна робота №4 Знайомство з Statistica. Робота з таблицями даних і побудова графіків
- •Завдання 1. Робота з таблицями
- •Завдання 2. Побудова графіків
- •Завдання 3.
- •Описова статистика
- •Лабораторна робота 6 Лінійна регресія
- •Лабораторна робота №7 Багатофакторна регресія
- •Конторольні запитання
- •Лабораторна робота 8 Нелінійна регресія
- •Лабораторна робота 9 Часові ряди (виділення періодичних складових)
- •Список використаної літератури
Результати кластеризації
Cluster#
Attribute Full Data 0 1 2 3 4
(100) (26) (27) (5) (14) (28)
==================================================================================
Dealership 0.6 0.9615 0.6667 1 0.8571 0
Showroom 0.72 0.6923 0.6667 0 0.5714 1
ComputerSearch 0.43 0.6538 0 1 0.8571 0.3214
M5 0.53 0.4615 0.963 1 0.7143 0
3Series 0.55 0.3846 0.4444 0.8 0.0714 1
Z4 0.45 0.5385 0 0.8 0.5714 0.6786
Financing 0.61 0.4615 0.6296 0.8 1 0.5
Purchase 0.39 0 0.5185 0.4 1 0.3214
Clustered Instances
0 26 ( 26%)
1 27 ( 27%)
2 5 ( 5%)
3 14 ( 14%)
4 28 ( 28%)
Як нам інтерпретувати отриманий результат? Дані кластеризації показують, яким чином сформований кожен кластер: значення «1» означає, що у всіх даних в цьому кластері відповідний атрибут дорівнює 1, а значення «0» означає, що у всіх даних в цьому кластері відповідний атрибут дорівнює 0. Дані відповідають середньому значенню атрибута у кластері. Кожен кластер характеризує певний тип поведінки клієнтів, таким чином, на підставі нашого розбиття ми можемо зробити деякі корисні висновки:
Кластер 0 - цю групу відвідувачів можна було б назвати «мрійники». Вони бродять навколо дилерського центру, розглядаючи машини, виставлені на зовнішній парковці, але ніколи не заходять всередину, і, гірше того, ніколи нічого не купують.
Кластер 1 - цю групу слід було б назвати «шанувальники М5», оскільки вони відразу ж підходять до виставлених автомобілів цієї моделі, повністю ігноруючи BMW серії 3 або Z4. Тим не менш, ця група не відрізняється високими показниками покупки машин - всього 52%. Це потенційно може свідчити про недостатньо продуману стратегію продажів і про необхідність поліпшити роботу дилерського центру, наприклад, за рахунок збільшення кількості продавців у секції M5.
Кластер 2 - ця група настільки мала, що ми могли б назвати її вибраковуванням. Справа в тому, що дані цієї групи статистично досить розкидані, і ми не можемо зробити будь-яких певних висновків щодо поведінки відвідувачів, що потрапили в цей кластер (подібна ситуація може вказувати на те, що вам слід скоротити кількість кластерів в моделі)
Кластер 3 - цю групу слід було б назвати «улюбленці BMW», тому що відвідувачі, що потрапили в цей кластер, завжди купують машину і отримують необхідне фінансування. Зверніть увагу, дані цього кластеру демонструють цікаву модель поведінки цих покупців: спочатку вони оглядають виставлені на парковці машини, а потім звертаються до пошукової системи дилерського центру. Як правило, вони купують моделі M5 або Z4, але ніколи не беруть моделі третьої серії. Дані цього кластеру вказують на те, що дилерському центру слід активніше привертати увагу до пошукових комп'ютерів (можливо, винести їх на зовнішню парковку), і крім того, слід знайти якийсь спосіб виділити моделі M5 і Z4 в результатах пошуку, щоб гарантовано звернути на них увагу відвідувачів. Після того, як відвідувач, що потрапив в цей кластер, вибрав певну модель автомобіля, він гарантовано отримує необхідний кредит і здійснює покупку.
Кластер 4 - цю групу можна назвати «початківці власники BMW», оскільки вони завжди шукають моделі 3 серії і ніколи не цікавляться більш дорогими M5. Вони відразу ж проходять в демонстраційний зал, не витрачаючи час на огляд машин на зовнішній стоянці. Крім того, вони не користуються пошуковою системою центру. Приблизно 50% цієї групи отримують схвалення по кредиту, тим не менш, покупку роблять всього 32% учасників. Аналізуючи дані цього кластеру, можна зробити наступний висновок: відвідувачі цієї групи хотіли б купити свій перший BMW і точно знають, яка машина їм потрібна (модель 3 серії з мінімальною конфігурацією). Однак, для того щоб купити машину, їм потрібно отримати позитивне рішення по кредиту. Щоб підвищити рівень продажів серед відвідувачів 4 кластера, дилерському центру слід було б знизити рівень вимог для отримання кредиту або знизити ціни на моделі 3 серії.
Ще один цікавий спосіб вивчення результатів кластеризації - це візуальне подання даних. Клацніть правою кнопкою мишки в секції Result List закладки Cluster. У контекстному меню виберіть опцію Visualize Cluster Assignments. В результаті відкриється вікно з графічним представленням результатів кластеризації, налаштування якого ви можете вибрати найбільш зручним для вас чином. Для нашого прикладу, змініть настройку осі X так, щоб вона відповідала кількості автомобілів М5 (M5 (Num)), а настройку осі Y - так, щоб вона показувала кількість куплених автомобілів (Purchase (Num)), і вкажіть виділення кожного кластера окремим кольором (для цього встановіть значення поля Color в Cluster (Nom)). Такі налаштування допоможуть нам оцінити розподіл по кластерах залежно від того, скільки людина цікавилося BMW M5, і скільки чоловік купило цю модель. Крім того, посуньте покажчик Jitter приблизно на три чверті у бік максимуму, це штучно збільшить розкид між групами точок, щоб нам було зручніше їх переглядати.
Чи відповідає візуальне відображення кластеризації тим висновкам, які ми зробили на підставі даних в одержаному результаті кластеризації? Як ми бачимо, поблизу точки X = 1, Y = 1 (відвідувачі, які цікавилися автомобілями моделі M5 і купили їх) розташовані тільки два кластери: 1 і 3. Аналогічно, поблизу точки X = 0, Y = 0 розташовані тільки два кластери: 4 і 0. Чи відповідає це нашим висновкам? Так, відповідає. Кластери 1 і 3 купують BMW M5, в той час як кластер 0 не купує нічого, а кластер 4 шукає BMW серії 3. На рис. 8 показано візуальне відображення кластерів нашої моделі. Пропонуємо вам самостійно попрактикуватися у виявленні інших трендів і течій, змінюючи налаштування осей X і Y.
Рис.
8. Візуальне відображення кластеризації
Контрольні запитання
З якими методами інтелектуального аналізу даних ми ознайомилися в даній лабораторній роботі?
Під якими іншими назвами відомий метод класифікації?
У чому полягає основна перевага класифікаційних дерев?
Суть підходу створення моделі на основі навчальної послідовності (training set).
З якою метою в методі класифікаційного аналізу набір відомих даних ділиться на дві частини?
Принцип відсікання гілок. Для чого може бути потрібно видаляти інформацію з дерева рішень?
Сенс проблеми помилкового розпізнавання. Що є більш небажаним: хибно-позитивне чи хибно-негативне розпізнавання? Яке співвідношення хибно-негативних розпізнавань до хибно-позитивних може вважатися прийнятним?
В результаті аналізу для тестового і навчального набору даних одержана приблизно однакова точність. Як це вплине на нові дані які будуть використовуватися в цій моделі в майбутньому?
Коли використовується метод кластерного аналізу?
Основний недолік методу кластеризації.
