- •Лабораторна робота №1 Інтелектуальний аналіз даних за допомогою програмного пакета weka
- •Регресійний аналіз
- •Створення набору даних для завантаження в weka
- •Файл даних для завантаження в weka
- •Завантаження даних в weka
- •Створення регресійної моделі в weka
- •Інтерпретація результатів регресійного аналізу
- •Готова модель регресійного аналізу
- •Розрахунок вартості будинку на базі готової моделі
- •Модель регресійного аналізу для визначення mpg
- •Обчислення показника mpg
- •Класифікація, кластеризація і метод найближчих сусідів
- •Регресійний аналіз
- •Класифікація
- •Кластеризація
- •Метод найближчих сусідів
- •Класифікація
- •Просте класифікаційне дерево
- •Набір даних для weka
- •Класифікація в weka
- •Результат роботи класифікаційної моделі weka
- •Кластеризація
- •Короткий огляд математичних методів
- •Набір даних для weka
- •Дані для кластерного аналізу засобами weka
- •Кластеризація в weka
- •Результати кластеризації
- •Лабораторна робота №3 Інтелектуальний аналіз даних за допомогою програмного пакета weka. Метод найближчих сусідів. Вступ
- •Метод найближчих сусідів
- •Математичний алгоритм методу найближчих сусідів
- •Математична модель методу найближчих сусідів
- •Набір даних для weka
- •Реалізація методу найближчих сусідів у weka
- •Контрольні запитання
- •Лабораторна робота №4 Знайомство з Statistica. Робота з таблицями даних і побудова графіків
- •Завдання 1. Робота з таблицями
- •Завдання 2. Побудова графіків
- •Завдання 3.
- •Описова статистика
- •Лабораторна робота 6 Лінійна регресія
- •Лабораторна робота №7 Багатофакторна регресія
- •Конторольні запитання
- •Лабораторна робота 8 Нелінійна регресія
- •Лабораторна робота 9 Часові ряди (виділення періодичних складових)
- •Список використаної літератури
Лабораторна робота 6 Лінійна регресія
Створимо новий файл, в якому змінну VAR1 заповнимо послідовно значеннями від 0 до 10, змінну VAR2 – випадковими значеннями від 0 до 1, а змінну VAR3 задамо, як суму VAR1+ VAR2.
Виконаємо послідовність команд: Statistics -> Basic Statistics/Tables -> Descriptive Statistics -> Prob.&Scatterplots (див. рис. 1).
Рис. 1
Як Variables виберемо VAR1-VAR3, натиснемо кнопку 2D Scatterplot.
У першому списку змінних вкажемо VAR1, в другому – VAR3 і натиснемо кнопку ОK (див. рис. 2).
На графіку, що з’явився, зображено пряму лінійної регресійної моделі для VAR3 через VAR1, а у верхній частині вікна бачимо рівняння лінійної регресії (див. рис. 3).
Рис. 2
Рис. 3
Якщо у змінній VAR3 замінити одне із значень, наприклад на 70, і побудувати графік знову, то побачимо, що рівняння регресії буде враховувати дане значення і з графіка буде очевидно, що 70 є викидом (див. рис. 4).
Натиснемо піктограму Brushing. У вікні, що з’явиться зробимо активними Exclude та Box, виділимо прямокутником значення (див. рис. 5) і натиснемо кнопку Apply. Виділене значення зникне з графіка і регресійна пряма змінить своє положення.
Для того, щоб значення викиду не виводилось у наступних графіках та не враховувалось при обчисленні регресійної формули, у змінній VAR4 заповнимо всі значення одиницями, а те значення, що стоїть напроти викиду – нулем (див. рис. 6).
Рис. 4
Рис. 5
Рис. 6
У вікні Descriptive Statistics натиснемо кнопку Weight (див. рис. 1). Оберемо змінну VAR4, перемкнемо Status на On та натиснемо OK (див. рис. 7). Тепер при аналізі викиди враховуватися не будуть.
Рис. 7
Нехай маємо таку таблицю з даними:
-
Y
X
Z
40
100
10
50
200
20
50
300
10
70
400
30
65
500
20
65
600
20
80
700
30
де Y – врожайність, X – добрива, Z – опади.
Потрібно знайти формулу багатофакторної лінійної регресії для Y:
Y=B0 +B1 X+B2 Z,
де Bі – невідомі коефіцієнти.
Виконаємо послідовність команд: Statistics -> Multiple Regression, як змінні оберемо Y – залежна, X і Z – незалежні (див. рис. 8). Натиснемо OK. Отримуємо результат, який зображено на рис. 9.
Рис. 8
Рис. 9
В закладці Quick натиснемо кнопку Summary: Regression results.У вікні, що з’явилось (див. рис. 10), бачимо оцінки параметрів та допоміжну статистику. Обидві змінні значимі (виділені червоним). У третьому стовпці таблиці вказані оцінки для коефіцієнтів Bі . Отже,
Y=28.095+0.038*X+0.833*Z.
Якщо наші змінні попередньо стандартизувати, то у результаті такого регресійного аналізу отримали б оцінки коефіцієнтів, які записані в першому стовпчику таблиці (зрозуміло, що В0=0). Коефіцієнти з першого стовпця показують внесок у регресійну модель змінних X та Z.
Рис. 10
Для того, щоб обчислити передбачуване значення для Y для заданих X та Z і побудувати 95% проміжок надійності, перейдемо у закладку Residuals/assumptions/prediction і натиснемо Predict dependent variable (див. рис. 11). У відповідні віконця вводимо значення змінних X та Z (див. рис. 12) і натискаємо OK.
Якщо незалежні змінні набувають одного і того ж значення його можна ввести у віконці Common Value і натиснути Apply.
У вікні результатів аналізу (див. рис. 13) бачимо передбачуване значення Y, верхню і нижню межу надійного проміжку для цього значення.
Рис. 11
Рис. 12
Рис. 13
Якщо ж потрібно подивитись як розподілені залишки, то натиснемо кнопку Perform residual analysis. У вікні, що з’явилось (див. рис. 14), зібрані різні методи для аналізу залишків регресійної моделі.
Рис. 14
Наприклад, натиснувши Normal plot of residuals отримаємо Q-Q графік, на якому видно наскільки залишки узгоджуються з нормальним законом розподілу (див. рис. 15).
Рис. 15
Контрольні запитання
Як створити новий документ з трьома змінними? Як заповнити змінну послідовно значеннями 1, 2, 3, 4, 5 і т.д. Як заповнити змінну випадковими величинами від 0 до 1? (Опишіть послідовність дій)
Як виключити з розрахунку і побудови графіків викиди?
Як можна забезпечити, щоб значення викиду не виводилось у наступних графіках та не враховувалось при обчисленні регресійної формули?
Як знайти формулу багатофакторної лінійної регресії? У чому полягає відмінність між однофакторною і багтофакторною регресією?
