- •Лабораторна робота №1 Інтелектуальний аналіз даних за допомогою програмного пакета weka
- •Регресійний аналіз
- •Створення набору даних для завантаження в weka
- •Файл даних для завантаження в weka
- •Завантаження даних в weka
- •Створення регресійної моделі в weka
- •Інтерпретація результатів регресійного аналізу
- •Готова модель регресійного аналізу
- •Розрахунок вартості будинку на базі готової моделі
- •Модель регресійного аналізу для визначення mpg
- •Обчислення показника mpg
- •Класифікація, кластеризація і метод найближчих сусідів
- •Регресійний аналіз
- •Класифікація
- •Кластеризація
- •Метод найближчих сусідів
- •Класифікація
- •Просте класифікаційне дерево
- •Набір даних для weka
- •Класифікація в weka
- •Результат роботи класифікаційної моделі weka
- •Кластеризація
- •Короткий огляд математичних методів
- •Набір даних для weka
- •Дані для кластерного аналізу засобами weka
- •Кластеризація в weka
- •Результати кластеризації
- •Лабораторна робота №3 Інтелектуальний аналіз даних за допомогою програмного пакета weka. Метод найближчих сусідів. Вступ
- •Метод найближчих сусідів
- •Математичний алгоритм методу найближчих сусідів
- •Математична модель методу найближчих сусідів
- •Набір даних для weka
- •Реалізація методу найближчих сусідів у weka
- •Контрольні запитання
- •Лабораторна робота №4 Знайомство з Statistica. Робота з таблицями даних і побудова графіків
- •Завдання 1. Робота з таблицями
- •Завдання 2. Побудова графіків
- •Завдання 3.
- •Описова статистика
- •Лабораторна робота 6 Лінійна регресія
- •Лабораторна робота №7 Багатофакторна регресія
- •Конторольні запитання
- •Лабораторна робота 8 Нелінійна регресія
- •Лабораторна робота 9 Часові ряди (виділення періодичних складових)
- •Список використаної літератури
Завдання 1. Робота з таблицями
Створіть новий лист.
Запускаємо програму Statistica. Натискаємо Close у вікні, показаному на рисунку
, після чого в меню обираємо File-New
Натискаємо
ОК
Змініть кількість рядків (випадків, cases) і стовпців (змінних, variables) таблиці за допомогою контекстного меню (Delete Variables, Case Management-Delete Cases)
Для додавання стовпців і рядків двічі клацаємо на сіру область таблиці
Змініть імена змінних var1, var2… на будь-які інші (наприклад x1, x2 і т.д).
Подвійним клацанням на назву викликаємо вікно з властивостями змінної. В полі Name присвоюємо нову назву змінній.
Змініть ширину колонок таблиці.
Заповніть першу колонку таблиці довільними значеннями з клавіатури
Задайте значення другої змінної за допомогою формули
Відкриваємо вікно властивостей, прописуємо функцію в полі Long Name, натискаємо на Functions і обираємо будь-яку з стандартних функцій. v1, v2 і т.д. позначають номер рядка.
Наприклад =Cos(v1) розраховує косинус від значень в першому рядку.
Завдання 2. Побудова графіків
Створіть нову таблицю з трьома змінними. Перейменуйте їх на x, y і z.
Заповніть таблицю довільними числовими значеннями.
Оберіть в меню Graphics-Histograms
У новому вікні, що відкрилося, оберіть змінні за якими будете будувати графік (Кнопка Variables)
Натисніть OK
Змініть властивості графіка, такі як колір, товщина лінії і т.д.
Подвійним плацанням на область графіка викликаємо вікно з налаштуваннями властивостей графіка.
Змінюємо тип графіка на PieChart
Аналогічно будуємо інші типи графіків (Graphs-2D Graphs-Scatterplots) та ін.
У графіку Scatterplot змінюємо тип функції з лінійної на будь-яку іншу нелінійну.
Змінюємо назву графіка і діапазон відображуваних значень осей x і y. (Axis:Scaling - Range – Mode - Manual)
Використовуючи інструмент Brushing (Значок з прицілом) приховуємо з графіка, виключаємо з розрахунку деякі значення.
Приховувати, виключати з розрахунку і показувати значення можна безпосередньо в таблиці, як показано на рисунку
.
Будуємо 3D графік за трьома змінними (Surface Plots)
Змінюємо властивості графіка, зокрема кут нахилу і повороту
Завдання 3.
Створіть нову таблицю з чотирма змінними
Перейменуйте змінні var1, var2 та ін. на Порядковий номер студента (або Номер залікової книжки), Ініціали студента, Курс, Середній бал (Успішність).
Заповніть таблицю вигаданими значеннями.
Відсортуйте значення в алфавітному порядку, за середнім балом, за номером і т.д.
Побудуйте графік, що відображає залежність середнього балу від курсу.
Змініть властивості графіка, функцію кривої з лінійної на будь-яку нелінійну
Незважаючи на те, що значення є довільними і вигаданими, спробуйте проаналізувати графік і описати залежність.
Побудуйте гістограму для змінної «Успішність», змініть функцію кривої Normal на будь-яку іншу (через вікно властивостей графіка).
Контрольні запитання
Що таке система «STATISTICA» і для чого вона потрібна?
Особливість графічного формату *.stg
Як експортувати графік в інший додаток?
Як помістити на графік системи STATISTICA графічний об'єкт з іншої програми?
Як помістити текст на графік STATISTICA (звіти, таблиці тощо)?
Лабораторна робота №5
Описова статистика
Дані в пакеті STATISTICA
Розпочнемо роботу з запуску пакету STATISTICA.
Після завантаження програми перед нами з’явиться вікно з контекстною панеллю для роботи з даними, а також відкриється таблиця нового або одного із стандартних, вже існуючих файлів.
Натиснувши на Х у правому верхньому кутку відкритої таблиці даних, закриємо її.
Виберемо на верхній панелі Statistics. У меню, що з’явилося (див. рис. 1), нам пропонують обрати один з модулів для подальшої роботи. Модуль – це набір статистичних засобів для роботи з певною специфічною інформацією. Отже, кожен з модулів полегшує нам вирішення певних статистичних задач.
Рис. 1
Дамо короткий опис модулів:
Basic Statistics
Описова статистика (способи зображення (візуалізації) даних, оцінка параметрів, деякі параметричні тести)
Nonparametrics
Непараметричні тести
Distribution fitting
Можливість візуально підбирати криву розподілу до існуючої гістограми
Multiple Regression Багатофакторна (множинна) регресія.
(використовують, коли один показник залежить від багатьох інших)
Advancd Linear/ Nonlinear Models Nonlinear estimation
Нестандартні типи регресій
Advanced Linear/ Nonlinear Models > Time Series
Аналіз часових рядів: визначення законів циклічності, періодичності, тренду, дослідження стохастичної компоненти.
Multivariate Exploratory Techniques > Discriminant Analysis
Дискримінантний аналіз: знаходження визначальних показників для класифікації об’єктів у задані групи
Multivariate Exploratory Techniques >Cluster Analysis
Кластерний аналіз: поділ даних на групи за певними ознаками (наприклад, поділ країн на групи за показником ВВП)
Multivariate Exploratory Techniques >Factor Analysis
Факторний аналіз: проблеми класифікації і вибору показників, які є головними для опису даного явища
Виберемо File >New. У діалоговому вікні, що відкрилося (див. рис. 2), можемо вибрати кількість змінних і випадків, а також розміщення таблиці даних, яку ми створюємо.
Рис. 2
Стандартна таблиця даних має розмір 10х10, де стовпці відповідають змінним (VAR1, VAR2,…,VAR10), а рядки – випадкам зі значеннями, яких набувають змінні .
Опція In a new Workbook розмістить новостворену таблицю у робочій книзі, в яку також будуть записуватися всі графіки, діаграми і таблиці, отримані у процесі роботи з даними. Опція As a standalone window створить таблицю в окремому вікні так, що дані можна буде зберегти окремо виконавши File >Save при активізованій таблиці. Слід зазначити, що STATISTICA 7 оперує з “робочими книгами” – спеціальними файлами, в яких зберігається, залежно від обраних користувачами опцій, та чи інша інформація і результати роботи.
Коли ви починаєте виконувати певні дії в пакеті, автоматично буде створено файл звіту. На вкладці Report можна вибрати розміщення даних звіту (опції аналогічні згаданим раніше).
Натискаємо OK внизу вікна Create new document. З’явиться нова порожня таблиця.
Якщо ми хочемо змінити кількість змінних, то натиснемо на верхній панелі кнопку VARS >Add. У вікні, що з’явилося (див. рис. 3), вказуємо скільки змінних ми хочемо додати і після якої змінної вставити нові змінні. Також можна обрати ім’я змінної (Name) за замовчуванням, тип даних (Type) і довге ім’я (Long Name).
Рис.3
Перемістити змінні можна таким чином: натиснути на верхній панелі кнопку VARS >Move (або виділити змінну і натиснути праву кнопку миші для отримання контекстного меню в якому вибираємо Move Variables). Вказуємо, з якої по яку змінну ми хочемо перемістити, і після якої змінної їх вставити (див. рис. 4).
Аналогічно, операції VARS >Copy, VARS >Delete (або Copy Variables і Delete Variables в контекстному меню) дають змогу скопіювати певні змінні, вставивши їх після вказаної нами змінної, та видалити вказані користавачем змінні.
Аналогічно всі згадані операції виконуються з випадками за допомогою меню Cases верхньої панелі.
Рис. 4
Виділимо якусь змінну, натиснувши на її ім’я лівою кнопкою миші (LC), далі натиснемо праву кнопку миші (надалі RC) та виберемо Variable Specs. На екрані з’явиться вікно опису даної змінної (див. рис. 5).
Рис. 5
Дамо короткий опис полів для заповнення:
A Опції для вибору різних характеристик шрифтів
Name Ім’я змінної
Type Вибрати тип даних – байти, ціле число, текст і т.д.
Length Ширина колонки даної змінної (для тексту)
Excluded Виключити змінну з подальшого аналізу
Label Використовувати значення змінної як тексові мітки, наприклад для точок на графіку
MD Code (missing data code) – значення, яке за замовчування присвоюється змінній, якщо її справжнє значення відсутнє з якихось причин. (Наприклад, у нас немає спостережень даного показника у в окремі роки)
Display format Вибір формату відображення числа (як дата, тощо).
Long name Поле, в якому можна задавати формулу для обчислення значення даної змінної.
Кнопки мають такі функції:
<< , >> для переходу до попередньої і наступної змінної, яку відображає даний діалог;
All specs відкриває таблицю з усіма специфікаціями змінних;
Values/Stats дає змогу дізнатися „швидку статистику” – значення окремих випадків, середнє арифметичне, стандартне відхилення та інше (див. рис. 6).
Кнопка Functions відкриває вікно вибору функцій для формули, яка визначатиме значення змінної.
Проілюструємо це на прикладі. Для цього заповнимо колонки перших двох змінних довільними значеннями. Далі виділимо третю змінну, натиснемо RC >Variable Specs. У полі Long Name напишемо: =v1+v2. Далі двічі натиснемо OK. Бачимо, що тепер змінна VAR3 є сумою VAR1 та VAR2.
Зауваження: імена v1, v2,… за замовчуванням присвоюються по порядку першій, другій, і т.д. змінним. Якщо ім’я першої змінної буде VAR10, то v1 буде відповідати саме змінній VAR10.
Якщо змінюються значення незалежних змінних, то перерахувати залежну змінну можна натиснувши на верхній панелі кнопку VARS > Recalculate або кнопку x=?.
Рис. 6
Інколи бувають потрібні не точні значення змінних, а їх порівняння з іншими значеннями цієї ж змінної, тобто треба замінити значення змінної на їх місце у варіаційному ряді за зростанням чи спаданням. Ранжування змінної - це впорядкування за зростанням чи спаданням. Воно виражається в присвоєнні кожному значенню певного рангу – порядкового номера в списку впорядкованих значень.
Для здійснення цієї операції натискаємо VARS >Rank. У вікні, що з’явиться (див. рис. 7), вибираємо: найбільшому чи найменшому значенню присвоїти ранг 1 (тобто за спаданням чи за зростанням будуть впорядковані значення), а також обираємо опцію Mean (якщо хочемо, щоб однакові значення мали однаковий усереднений ранг) або Sequential (якщо хочемо, що однакові значення мали послідовні значення рангу).
Зсув всіх даних вниз на кілька позицій: виділити стовпчик, Vars->Shift(Lag).
Інколи буває потрібно розбити значення змінних на групи (наприклад, якщо певний показник більший за певну величину або менший за цю величину). Виділяємо, наприклад, першу змінну, далі натискаємо VARS > Recode. У першому полі Include If пишемо умову для потрапляння значення змінної у групу: v1<5. У другому полі Include If пишемо: v1>=5. У полях New Value 1 та New Value 2 вибираємо 1 та 2 відповідно (див. рис. 8). Натискаємо ОК і зберігаємо змінені значення. Бачимо, що всі значення, що були менші за 5, отримали нове значення 1, а ті, що були не менші за 5 отримали значення 2.
Рис. 7
Рис. 8
Оскільки візуально краще працювати з текстом, який би вказував назви груп, на які ми щойно розбили значення змінної, то виконаємо Data > Text Labels Editor і для значень 1 та 2 введемо назви груп, наприклад male та female і натиснемо Enter. Натискаючи кнопку Show/Hide Text Labels на верхній панелі бачимо, що у всіх клітинках замість числових значень з’явились назви груп.
Для заповнення значень змінної можемо використовувати послідовність команд RC >Fill/Standartize Block >Fill Random Values. У результаті змінна буде заповнена випадковими значеннями.
Генерація
даних, розподілених за певним законом.
Якщо
ми хочемо якусь змінну заповнити,
наприклад, вибіркою, нормально розподіленою
з параметрами
,
то ми повинні в специфікації змінної в
полі Long
Name
написати =VNormal(rnd(1);0;1).
Якщо заповнення не відбудеться відразу,
то треба перерахувати змінну за допомогою
Recalculate.
Інші закони розподілу задаються аналогічно, наприклад:
=rnd(5) |
Рівномірний
розподіл на
|
=VNormal(rnd(1);2;3) |
Нормальний
з параметрами
|
=VExpon(rnd(1);1/2) |
Експоненціальний
розподіл з
|
=VLognormal(rnd(1);0,5;0,5) |
Логнормальний з параметрами 0,5;0,5 |
=VCauchy(rnd(1);0;1) |
Розподіл Коші з параметрами 0;1. |
=VChi2(rnd(1);8) |
Розподіл χ2 з 8 ступенями свободи |
Якщо хочемо заповнити весь стовпчик або весь рядок одним й тим самим значенням, то набираємо це значення в першій клітинці. Далі починаючи з цієї ж клітинки виділяємо вниз або вправо стовпчик чи рядок відповідно і натискаємо RC >Fill/Standartize Block >Fill/Copy Down або RC > Fill/Standartize Block >Fill/Copy Right відповідно.
Якщо ми хочемо заповнити стовпчик арифметичною прогресією, то в перших двох клітинках вводимо два перші члени арифметичної прогресії, виділяємо ці клітинки, переміщуємо курсор у правий нижній кут виділеної області, доки він не змінить форму хрестика і тягнемо вниз з натиснутою лівою кнопкою миші до тієї клітинки, до якої потрібно заповнити стовпчик. Для зміщення всіх даних у змінній, як одне ціле, на кілька позицій використовуємо на верхній панелі кнопку VARS >Shift (Lag).
Для стандартизації змінних використовуємо на верхній панелі кнопку VARS >Standardize.
Створені нами дані ми можемо зберігати в різних форматах. Для цього при виділеному окремому вікні з даними натиснемо File >Save as. Далі маємо можливість вибрати формат, в якому хочемо зберегти інформацію. Якщо дані містяться в робочій книзі, клацаємо правою клавішею миші на назві таблиці в дереві документів (зліва) і вибираємо Save item as. Потрібну таблицю, графік можна виокремити з робочої книги за допомогою команди Extract as a standalone, якщо відмітити їх у робочій книзі і натиснути праву клавішу миші (див. рис. 1.9).
Якщо у нас є дані в Excel і ми хочемо частину з цих даних скопіювати у файл в Statistica, то існує два способи це зробити:
за допомогою звичайних операцій Copy в Excel і Paste в Statistica,
або знову ж таки Copy в Excel та Edit >Paste special >Paste Link
в Statistica.
Другий спосіб має ту перевагу над першим, що при зміні даних в таблиці Excel, дані в файлі Statistica теж будуть відповідно змінюватися, а при першому способі цього не відбудеться. Якщо після внесення даних в файл з допомогою Paste Link подивитися на Edit >Link, то побачимо там запис про те, з яким файлом встановлено динамічний зв'язок – в нашому випадку на файл Excel.
Рис. 9
Для створення звіту – тобто файлу, в якому будуть записані результати всіх дій, що ми проводимо, таблиці, графіки тощо – натискаємо File >Output Manager (див. рис. 10). Вибираємо опцію, щоб інформація автоматично відсилалась до файлу звіту, потім визначаємо, чи створюватиметься окремий звіт для кожного графіку/аналізу, чи в одному вікні зливатиметься вся звітність, чи створиться файл звіту із вказаним іменем.
Аналогічно у верхній частині вікна можна вибрати опції щодо використання робочих книг.
Рис. 10
Розглянемо типи файлів пакету Statistica. Про інформацію, що міститься у файлах, свідчить розширення файлу:
.sta Файли з даними у вигляді таблиць
.stw Файли робочих книг
.stg Файли з графіками
.str Файли звіту
.svb, .svx Файли STATISTICA Visual Basic чи макроси
.stm Файли матриць
.snn Файли нейронних мереж
.sdm Файли проектів модуля Data Miner
.sti Файли на віддалених серверах
Для роботи з усіма змінними таблиці даних або кількома файлами даних використовуємо меню Data. Наприклад, щоб транспонувати таблицю даних виконуємо Data > Transpose > File.
Іноді виникає потреба об’єднати дані з двох файлів в один. Наприклад, потрібно додати спостереження з показниками підприємств за нові роки, або додати нові показники діяльності підприємств до тих, що вже спостерігаются протягом певного часу.
Для цього виконуємо Data > Merge. У вікні, що з’явиться (див. рис. 11), вказуємо імена файлів з якими будуть здійснюватися операції і вибираємо опції об’єднання на закладках Variables чи Cases.
Рис. 11
Розглянемо як створювати макроси, які дають змогу автоматизувати виконання деякої послідовності команд. Натиснемо Tools > Macro > Start Recording Log of Analyses (Master Macro) (див. рис. 12).
Рис. 12
Індикатором того, що запис команд почався і триває, слугує віконце з кнопками управління записом. Наприклад, виберемо на верхній панелі Graphs > Histograms потім натиснемо Variables > Select all > Ok ще раз натиснемо Ok. Отримаємо гістограми усіх змінних. Після цього перейдемо в верхнє меню Statistics > Basic statistics/Tables > Descriptive statistics > OK. Знову оберемо змінну: Variables > Select all > Ok. Натиснемо кнопку Summary. З’явиться таблиця з описовою статистикою всіх змінних. Для закінчення запису макросу натиснемо кнопку зупинки макросу. У вікні, яке з’явиться (див. рис. 13), натискаємо Ok. Бачимо текст STATISTICA Visual Basic з послідовністю виконаних операцій (див. рис. 14).
Рис. 13
Рис. 14
Натискаємо File > Save as Global Macro і зберігаємо макрос в головну директорію, в якій встановлено пакет Statistica.
Щоб виконати макрос вибираємо на верхній панелі Tools > Macro > Macros. Відмічаємо потрібний макрос у вікні, що з’явилось, і натискаємо Run (див. рис. 15).
Потім оберемо Tools > Customize. Відмітимо на закладці Toolbars категорію Macro – з’явиться нова панель інструментів. На закладці Command/Macros виберемо категорію Macros (див. рис. 16), і потім перетягнемо створений раніше макрос в панель інструментів. Тепер після натискання кнопки з назвою макросу будуть автоматично побудовані гістограми і проведена описова статистика змінних.
Аналогічно можна записувати макрос, що відтворює послідовність дій з клавіатури (Tools > Macro > Start Recording Keyboard Macros). У цьому випадку команди, що будуть записані в макрос, повинні бути введені тільки за допомогою клавіатури.
Рис. 15
Рис. 16
