Регресійний аналіз

Метод регресійного аналізу є найпростішим і, одним з найменш ефективнх методів інтелектуального аналізу даних. Найпростіша модель аналізу використовує один вхідний (незалежний) параметр і один результуючий (залежний) параметр (прикладами такої моделі є точкові діаграми Excel і аналогічні їм XYDiagram в OpenOffice.org). Безумовно, модель можна ускладнити, додавши кілька десятків вхідних параметрів, але в будь-якому випадку загальний підхід буде один і той же: на підставі кількох незалежних змінних визначається один залежний результат. Таким чином, модель регресійного аналізу використовується для прогнозування значення однієї залежної змінної, виходячи з відомих значень декількох незалежних параметрів.

Найбільш очевидний приклад регресійного аналізу - визначення вартості будинку. Ціна на будинок (залежна змінна) визначається декількома незалежними параметрами: яка площа будинку і розмір ділянки, чи використовуються в оформленні кухні гранітні плити, яка якість і термін служби сантехніки і так далі.

Скористаємося моделлю регресійного аналізу для визначення ціни будинку і розберемо конкретний приклад. У таблиці внизу вказані фактичні параметри будинків, виставлених на продаж в певному районі. На підставі цих даних спробуємо оцінити вартість будинку в останньому рядку таблиці.

Таблиця 1. Регресійна модель оцінки вартості будинку

Площа будинку (кв.футів)	Розмір ділянки	Кількість спалень	Гранітна обробка на кухні	Сучасне сантехнічне обладнання?	Ціна продажу
3529	9191	6	0	0	$ 205,000
3247	10061	5	1	1	$ 224,900
4032	10150	5	0	1	$ 197,900
2397	14156	4	1	0	$ 189,900
2200	9600	4	0	1 `	$ 195,000
3536	19994	6	1	1	$ 325,000
2983	9365	5	0	1	$ 230,000
3198	9669	5	1	1	????

Розглянута нами модель дає лише найзагальніше, досить поверхневе, уявлення про метод регресійного аналізу. Тим не менш, нашого поверхневого розгляду цілком достатньо для того, щоб зрозуміти основні принципи і створити модель регресійного аналізу за допомогою WEKA.

Розглянемо наступні поняття:

• метод найменших квадратів,

• нормальний розподіл,

• коефіцієнт детермінації R-квадрат

Метод найменших квадратів (МНК, OLS, Ordinary Least Squares) - математичний метод, який застосовується для вирішення різних задач, заснований на мінімізації суми квадратів деяких функцій від шуканих змінних. Він може використовуватися зокрема для апроксимації точкових значень деякою функцією. МНК є одним з базових методів регресійного аналізу для оцінки невідомих параметрів регресійних моделей за вибірковими даними.

Результат підгонки сукупності спостережень квадратичною функцією.

Нормальний розподіл (закон Гаусса)

 Нормальний закон розподілу (normal law of distribution) (який ще називається законом Гаусса) відіграє виключно важливу роль в теорії ймовірностей і займає серед інших законів розподілу особливий стан. Це закон, який найчастіше зустрічається на практиці.

Більшість випадкових величин, таких, наприклад, як похибки вимірів, похибки гарматних стрільб і т. д. можуть бути подані як суми великої кількості малих доданків ‑ елементарних похибок, кожна з яких визначається дією окремої причини, яка не залежить від інших. Яким би законам розподілу не підпорядковувались окремі елементарні похибки, особливості цих розподілів в сумі великої кількості доданків нівелюються і сума підпорядковується закону, що близький до нормального. Підсумовані похибки в загальній сумі повинні грати відносно малу роль.

Випадкова величина ξ нормально розподілена або підпорядковується закону розподілу Гаусса, якщо її щільність розподілу має вигляд:

,

де а ‑ довільне дійсне число,   > 0.

Коефіцієнт детермінації (позначається як R² — R-квадрат) — статистичний показник, що використовується в статистичних моделях як міра залежності варіації залежної змінної від варіації незалежних змінних. Вказує наскільки отримані спостереження підтверджують модель.