5. Линейная множественная регрессия.
Общего подхода к нахождению такой зависимости нет.
Нельзя без предварительных условий и определения вида функции найти зависимость. Чаще всего эти зависимости находятся на основе теоретических соображений либо методом проб и ошибок: методом испытания различных кривых. Наиболее строго этот вопрос решен для линейных уравнений. Если каждая из этих величин подчиняется нормальному закону распределения то уравнение регрессии для таких величин определяется системой нормальных уравнений.
X0рi-x0sr=a1(x1i-x1sr)+a2(x2i-x2sr)+…
Z0рi= x0рi-x0sr; Z0i= a1*z1i+…
Найдем «а» для этого применим метод наименьших квадратов. Найдем минимум средне квадратической ошибки Z0рi от Z0i :
Из этого уравнения найдем а1, а2 и тд предполагая что они отвечают минимуму средней квадратической ошибки для этого при известных значениях z необходимо взять частные производные.
раскрывая скобки
и перенося в правую часть элементы
содержащие Z0i
получим
данная система уравнений по отношению к коэффициенту «а» является линейной и решается любым из известных методов(ну как матрицу решали помнишь?)))
6. Нелинейные уравнения множественной регрессии.
Нелинейные формы
зависимости приводятся к линейным путем
ленеарезации. Виды уравнений нелинейной
множественной регрессии: степенная
,
показательная
параболическая
,
гиперболическая
.
7. Исключение дублирующих и неэффективных аргументов. Доли вклада.
Доли вклада это
доля вклада в уравнение регрессии
каждого из участвующих в уравнении
аргументов(предикторов)
если хотя бы один коэффициент отрицательный
то берется сумма по абсолютной величине
исключение
дублирующих элементов проводится по
правилу что если коэффициент корреляции
между аргументами близок к единице
(близость определяется значением r±2σr):
l1-2σ2rl≤r
Исключение неэффективных аргументов: для этого используются доли вклада, вычисляются доли вклада и если доля вклада меньше относительной
ошибки R2, то такой аргумент исключается. После исключения аргументов все расчеты выполняются заново.
8. Используя принцип наименьших квадратов получите уравнение парной параболической регрессии 2-го порядка.
Yx=a0+a1x+a2x2
Значение величин ХУ представлены двумя рядами данных, если бы все значения полученные по данным наблюдения лежали бы строго на кривой, описываемой уравнением параболы то не существовало бы ни каких проблем однако на практике имеем разность между данными наблюдения и данными полученными по уравнению связи эта разность как раз и появляется в силу наличия ошибок упрощения, поэтому возникает проблема нахождения таких коэффициентов регрессии, при которых ошибка была бы минимальной. Оптимальным является оценка ошибки по методу наименьших квадратов.
S=∑(y-a0-a1x-a2x2)2→min
Для нахождения значений неизвестных коэффициентов при которых функция была бы минимальной необходимо приравнять частное производное по этим величинам к нулю.
Проделав простейшие преобразования получим систему нормальных уравнений.
Решив систему найдем значения неизвестных коэффициентов а0, а1, а2 и получим уравнение регрессии.