Конторольні запитання

1. На рис. 4. представлені результати аналізу. Яким чином з рисунка можна визначити які змінні несуттєво впливають на регресійну модель?

2. На основі яких результатів можна вважати, що багатофакторна регресійна модель достатньо добре описує дані?

3. Скільки незалежних змінних розглядається в прикладі Job_prof.sta ?

4. Наведіть приклад мультиколінеарності змінних.

Лабораторна робота 8 Нелінійна регресія

Досить часто із діаграми розсіювання, або попереднього досвіду роботи з подібними даними зрозуміло, що регресійна модель не є лінійною. Отже, виникає ситуація, коли потрібно розглядати регресійну модель, у яку входять не просто змінні, а деякі функції від них (наприклад, степінь, експонента, логарифм). Покажемо, як діяти у цьому випадку.

Створимо новий файл. Першу змінну заповнимо числами від 1 до 10, другу – випадковими значеннями від 0 до 1, третя змінна

v3=2*v1*v1+v2+20.

Потрібно отримати рівняння регресії для VAR3 через VAR1. Зрозуміло, що доцільно ввести у регресійну модель квадрат VAR1.

Виконаємо Statistics -> Advanced Linear/Nonlinear Models -> Fixed nonlinear Regression (див. рис. 1).

Рис. 1

У вікні, що з’явиться (див. рис. 2), оберемо зміні VAR1 та VAR3. Натискаємо OK. Оскільки ми знаємо, що наша залежність квадратична, то виберемо X**2 (див. рис. 3). Натискаємо OK.

Рис. 2

Рис. 3

З’явиться вікно Model Definition. Перейдемо на закладку Quick і вкажемо залежну змінну – VAR3, а незалежними оберемо змінні VAR1 та VAR1**2 (див. рис. 4).

Рис. 4

Будуємо регресійну модель покроково з відкиданнями незначимих змінних. У закладці Stepwise вказуємо значення 1.0 для F to enter, а у полі F to remove вказуємо 0.01. Як і очікували, у регресійній моделі одержали єдину значиму змінну VAR1**2 (див. рис. 5).

Натиснувши Summary: Regression results отримуємо таблицю результатів регресійного аналізу (див. рис. 6). Оцінки коефіцієнтів регресії близькі до значень у заданій теоретичній моделі.

Рис. 5

Рис. 6

Іноді з графічного зображення даних або попереднього досвіду роботи з ними можна зробити припущення про те, що для того щоб отримати адекватну регресійну модель, потрібно зробити перетворення залежної змінної вигляду:

Використаємо для цього допоміжну програму. Вона обчислить оцінку максимальної вірогідності параметра λ.

Для цього виконаємо послідовність команд Help -> Open Examples -> Macros -> Analysis Examples і викличемо програму BoxCox. У вікні, що з’явилось (див. рис. 7), бачимо текст програми на мові STATISTICA Visual Basic.

Рис. 7

Натиснемо на стрілку в панелі макросів, щоб почати виконання програми. Вказуємо наші змінні і у вікні, яке потім з’являється (див. рис. 8), задаємо межі для параметра λ Натискаємо OK. Вибравши один із запропонованих методів (див. рис. 9) Manual/visual search (graph of lambda vs. SSE) або Iterative optimization(golden search) отримаємо оцінку для λ, яку потім можна використати при побудові регресійної моделі.

Рис. 8

Рис. 9

За допомогою програми Boxtidwell.stb, яка знаходиться в тій же директорії, що і BoxCox, можна обчислити оцінки максимальної вірогідності для параметрів перетворення незалежних змінних.

Розглянемо деякі інші нелінійні регресійні моделі.

Відкриємо файл program.sta (див. рис. 10). У першій колонці файлу вказано витрачений працівниками час на вивчення певного програмного продукту, а у другій колонці вказано результати тестового завдання, на виконання якого було відведено фіксований час. Потрібно побудувати залежність успішності виконання від часу вивчення. Шукатимемо цю залежність у вигляді логістичної регресійної моделі:

де y_t– успішність, t – час, b₀ , b₁ - невідомі параметри.

Завантажимо модуль з нелінійного оцінювання: Statistics -> Advanced/Linear Nonlinear Models -> Nonlinear Estimation (див. рис. 11). Обираємо Quick Logit regression (див. рис. 12) і натискаємо OK.

Рис. 10

Рис. 11

Рис. 12

Вкажемо як залежну змінну Success, а як незалежну – Experience (див. рис. 13). Натискаємо двічі OK. Отримані результати відобразяться у вікні, яке зображено на рисунку 14.

Рис. 13

Натиснувши Fitted 2D function & observed values отримаємо графік логістичної регресійної функції (див. рис. 15), яка найкраще описує наші дані. Формула, яка визначає функцію, написана над графіком. На цьому ж графіку зображено наші дані. Їхні координати по вертикальній осі є або 1, якщо тестове завдання виконано успішно, або 0, якщо ні. Використовуючи отриману логістичну модель можна передбачити наскільки успішно програміст впорається із завданням залежно від його досвіду роботи з програмним продуктом.

Рис. 14

Рис. 15

Натискаючи різні кнопки у закладці Residuals (див. рис. 16), можемо отримати гістограму залишків, значення самих залишків, значення оцінок, які «пророкують» згідно із затраченим часом, вивчити відповідність розподілу залишків до гауссового розподілу. Наприклад і Q-Q графік і гістограма (див. рис. 17 і 18) свідчать про нормальний розподіл залишків.

Рис. 16

Рис. 17.

Рис. 18.

Відкриємо файл Learning.sta (див. рис. 19). Цей файл містить інформацію, про два підприємства А і В, які переходять на випуск нової продукції. Одна змінна – час, інша ефективність – відношення прибутку на один виріб нової моделі до старої. З часом на підприємствах все краще освоюють технологію пов’язану з випуском нової продукції, тому ефективність зростає. Ми хочемо порівняти два підприємства між собою і визначити яке підприємство має більший потенціал для впровадження нових технологій. Для цього ми побудуємо регресійні моделі для даних кожного підприємства і порівняємо ці моделі.

Виконаємо Statistics -> Advanced/Linear Nonlinear Models -> Nonlinear Estimation -> User specified regression, custom loss function (див. рис. 12).

Як Function to be estimated & loss function задамо функцію

v3=B +B *V1+B *exp(B *V2),

0 1 3 2

а як міру відхилення (OBS-PRED)**2 (див. рис. 20). Натискаємо ОК.

Оскільки текстовому значенню першої змінної Plant_A відповідає 1, а текстовому значенню Plant_B відповідає 0, то додатний знак коефіцієнта В буде свідчити про те, що перше підприємство має більший потенціал для впровадження нових технологій, а якщо В < 0 , то навпаки - друге.

Рис. 19

Рис. 20

У закладці Advanced як Estimation method виберемо Rosenbrock and quasi-Newton. Як Start values задамо всі значення 0 (див. рис. 21). Зауважимо, що успіх побудови моделі залежить від вдалого вибору початкових значень та кроку зміни параметрів. Натискаємо ОК.

Рис.21

У вікні Results, що з’явилось (див. рис. 22), бачимо результати аналізу. Значення Proportion of variance accounted for показує наскільки пояснено розкид даних.

Побачити оцінки для параметри моделі можемо, натиснувши кнопку

Summary (див. рис. 23). Оскільки В < 0, то друге підприємство має більший потенціал для впровадження нових технологій. Це очевидно, якщо подивитись на малюнок 19 з даними, які ми використовували для нашого дослідження.

Аналіз залишків, як і раніше, можна здійснити використовуючи меню з закладки Residuals (див. рис. 22). У результаті приходимо до висновку, що модель добре описує наявні дані.

Рис. 22

Рис. 23

Контрольні запитання

1. Як завантажити модуль з нелінійного оцінювання в Statistica?

2. Як отримати графік логістичної регресійної функції?

3. Де можна побачити формулу, що визначає одержану функцію?

4. На рис. 14 і 15 показані Q-Q графік і гістограма. В результаті їх аналізу який можна зробити висновок?