3.1.1.6 Поліноміальна регресія (1d-випадку)

Часто простий підхід лінійної регресії застосовується, де лінійну структуру дається застосувати. Ми обговоримо основну ідею цього підходу регресії детально надалі і справжнім загальним правилом для поліноміальних регресій пізніше і шукати лінійні функції Z (х) = ах + b, які можуть описати структуру даних і підходить ці дані добре. Параметри a і b повинні бути визначені або оцінені в отримати цю лінійну функцію.

По-перше, ми повинні ввести добро міру нашому наближенні. Є нескінченне число ліній переживає і перетину даної точки. Який з цих це краща лінія? Відповідь приходить від великого німецького математика Гауса, який запропонував наступну міру: краща лінія є лінією, що призводить до менш квадрати різниць, отриманих на місцях даних. Саме квадрати, а не будь-які вищі ступені відмінності вважаються, тому що лінійність фінал система рівнянь повинна тримати.

Сформулюємо цю проблему в математичній мові. Параметри a і b бути визначені таким чином, щоб наступна функція двох змінних,

(*.1)

мінімізується по відношенню до a і b.

З обчислення ми знаємо, що наступна необхідна умова має бути виконана:

(*.2)

(*.3)

Видно, що ця система рівнянь є лінійною по відношенню до невідомих параметрів a і b. Наступна лінійна система рівнянь дається:

(* .3′)

Нарешті, ми отримуємо a= -0,04, b = 0,22. Якщо ми припустимо, лінійну структуру даних, наступна лінійна залежність описує співвідношення між z і x:

z (х) = -0.04x + 0,22 (* 0,4)

Малюнок 3.4 показує (* 0,4) апроксимації задані точки даних. Ця лінійна функція призводить до найменших квадратів різниць між передбаченим і реальним значеннями висоти в місцях обробки даних. Сума найменших квадратів цих різниць можуть бути оцінені за допомогою

(* .1). З a = -0,04, b = 0,22 в (0,1 *), ми отримуємо

Sum_LR = (-0.04 • 1 + 0,22 - 0,1) 2 + (-0.04 • 4 + 0.22 - 0.2) 2

+ (-0.04 • 7 + 0,22 - (-0,1)) 2 + (-0.04 • 10 + 0,22 - (-0,2)) 2 = 0,028

(* 0,5)

Значення з (* .5) може бути використаний в якості міри добра нашої лінійної моделі для опису структури даних. Його порівняння з

N • (z_max - z_min) ² = 4 • (0,2 - (-0,2)) 2 = 0,64 (* 0,6)

Особливо значущим: Якщо ці значення практично рівні, тобто, якщо вони мають той же порядок в математичному сенсі, то наша лінійна модель погано і повинно бути

Мал. 3.4 Лінійна регресія для набору з прикладу 3.1.1.1 даних

відхилена. У нашому випадку ми отримали прийнятної моделі, тому що значення з (* 0,5) менше, ніж значення з (* 0,6) приблизно на порядок величини.

По-перше, ми сформулюємо загальне правило для застосування лінійної регресії (1D-випадок):

Враховуючи дані z₁ = z (x₁), .., z_N = z (x_N), лінія з формою z (х) = ах + b повинен бути визначений таким чином, що в наступному необхідною умовою є виконала:

N

F (a,b ) =(ax_i+b-z_i)²→min

Ця умова приводить до

і

Невідомих параметрів a і b отримані

(3-9)

Лінія z(х) = ах + b з цих параметрів, який ми шукаємо. Крім того, ми можемо точно обчислити благості міру (точність) нашої наближенні лінійного зв'язку. З a і b з (3-9), ми визначаємо

Acc_LR = (ax_i+b-z_i)²) (3-9 ')

Якщо ця точність порівнянна з z_max - z_min, припущення про лінійної структури даних повинні бути відхилені. В цьому випадку слід використовувати модифікований припущення. Наприклад, можна припустити, складніше поліном структура даних.

Зауваження. Слід зазначити, що в прикладі 3.1.1.1 '''' Acc_LR=Sum_LR)

Загальне правило для використання поліноміальної регресії (1D-випадок) формулюється таким чином:

Враховуючи: z₁ = z (x₁), .., z_N = Z (x_N), функціональна залежність виду z (x) = a_M х^M + а_M-1

х^M-1 + ... + a₁ х + b, М N - 1 повинен бути знайдений, що виконує наступне необхідна умова:

Ця умова приводить до:

і, після деякого спрощення, то

і, нарешті, до наступного вирішення цього LSE в матричної формі:

(3-10)

Так, невідомі параметри а₁,…,а_М і b є знайдені.З цих параметрів, функціональне співвідношення

z (x) = a_M х^M + а_M-1 х^M-1 + ... + a₁ х + b, М N - 1

ідентифікується.

Точність (вага виміру) полиномиальной апроксимації може бути отримують з

(3-10 ')

Використовуючи параметри a₁, ... , a_M і b з (3-10 ') і порівняння з z_max - z_min.

Примітка: у даний час, (3-10), здається, дуже простий, але відповідна матриця може бути нерегулярним. Таким чином, деякі необхідні умови повинні бути доведено, перш ніж намагатися оцінити зворотну матрицю. Крім того, чисельне неприємності можуть виникнути в результаті звернення великих матриць.

Для випадку N = M - 1, поліном виходить, що виконує вимогу інтерполяції. Це співпадає з отриманим в Лагранжа і методів Ньютона in¬terpolation. Якщо точність (3-10 ') порівнянна з z_max - z_min, припущення про полиномиальной структурі даних повинна бути відхилена. Аналогічно 1D-випадку, слід вважати більш складний поліном структура даних.