28. Использование мнк при определении параметров модели системы.(1 лаб)
https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BD%D0%B0%D0%B8%D0%BC%D0%B5%D0%BD%D1%8C%D1%88%D0%B8%D1%85_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BE%D0%B2
СПРОСИТЬ, МОЖЕТ ВИКИПЕДИИ БУДЕТ ДОСТАТОЧНО
Самым распространенным и теоретически обоснованным является метод нахождения коэффициентов, при котором минимизируется сумма квадратов отклонений (МНК). Этот метод оценки является наиболее простым с вычислительной точки зрения. Кроме того, оценки коэффициентов регрессии, найденные МНК при определенных предпосылках, обладают рядом оптимальных свойств.
Задача: нахождение оценок параметров β0 и β1
Оценка β0 и β1 – выбрать наименьшие значения параметров, при которых линия регрессии ближе к точке наблюдения.
МНК (условие минимизации):
Минимизация функции:
ДО ЭТОГО МОМЕНТА МОЖНО ПИСАТЬ, ДАЛЬШЕ – ПО СЛУЧАЮ.
Функция Q – непрерывна, выпукла, ограничена снизу, следовательно, она имеет минимум. Q – критерий качества.
Необходимое условие
существования минимума функции
двух переменных 
равенство
нулю ее частных производных по неизвестным
параметрам b0 и b1.
Выборочный коэффициент парной корреляции:
или 
=
=
станд. отклонение = корень из дисперсии
= станд. ошибка
=
Свойства:
1) 
2) чем
ближе модуль 
к
1, тем более тесная линейная зависимость
если 
–
отсутствует
3) r>0 – прямая, r<0 – обратная
4) если значения переменных уменьшаются на определенную одинаковую величину, не изменяется
5) 
=d
– функция
6) =
7) 
=1
8) =0, линейная зависимость отсутствует, а признаки x, y – некоррелиров. (но не независимые)
9) если
x, y статистически независимы, то 
(но
не наоборот)
10) при норм. распределении при некорр. x, y, они независимы
Проверить равенство нулю можно при помощи:
Н0: r=0 – гипотеза о нуле
Н1: r≠0 – гипотеза о не нуле
Свойство мнк-оценок: ???????
Свойство 1. Оценки параметров a0 и a1 имеют нормальные вероятностные законы распределения и обладают свойством несмещенности.
Зависимость нескольких переменных (множественная регрессия):
М(Y|x1, x2,…, xm) = f(x1, x2, …, xm)
где X = (X1, X2, ..., Xm) − вектор независимых (объясняющих) переменных; β − вектор параметров (подлежащих определению); ε − случайная ошибка (отклонение); Y-зависимая (объясняемая) переменная.
Теоретическое линейное уравнение регрессии (для индивидуальных наблюдений)
число степеней свободы:
ν = n –m-1
m - число параметров при переменных х (в линейной регрессии совпадает с числом включенных в модель факторов);
n - число наблюдений.
Чем оно меньше, тем ниже статистическая надежность оцениваемой формулы. Для надежности требуется, чтобы n в минимум 3 раза превосходило m.
Эмпирическое уравнение регрессии:
Отклонение еi эмпирического значения yi от рассчитанного с пом. МНК значения yi:
По
МНК: 
Условие минимума функции - равенство нулю всех ее частных производных по bj. Частные производные квадратичной функции являются линейными функциями.
Система нормальных уравнений МНК:
Матричная форма:
Y − вектор-столбец размерности n наблюдений зависимой переменной Y;
Х − матрица размерности n × (m + 1), в которой i-я строка (i = 1, 2, … , n) представляет наблюдение вектора значений независимых переменных X1, X2, …, Xm; единица соответствует переменной при свободном члене b0;
B − вектор-столбец размерности (m+ 1) параметров уравнения регрессии;
e − вектор-столбец размерности n отклонений выборочных (реальных) значений yi зависимой переменной Y от значений yi
e = Y − XB
ДРУГОЙ ВАРИАНТ ОТВЕТА:
Метод наименьших квадратов для моделей регрессии, нелинейных по факторным переменным
Если модель регрессии является нелинейной по факторным переменным или нелинейной по оцениваемым коэффициентам, но внутренне линейной, то неизвестные коэффициенты данных моделей можно оценить с помощью классического метода наименьших квадратов.
Рассмотрим применение метода наименьших квадратов для определения неизвестных параметров модели регрессии, нелинейной по факторным переменным.
Параболическая функция второго порядка вида
является моделью регрессии, нелинейной по факторным переменным xi.
Метод наименьших квадратов позволяет получить такие оценки параметров от расчетных (теоретических) минимальна:
В процессе минимизации исходной функции регрессии неизвестными являются только значения коэффициентов и , потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции трёх переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений.
Составим стационарную систему уравнений для функционала F, не пользуясь методом замен:
После элементарных преобразований стационарной системы уравнений, получим систему нормальных уравнений, позволяющую определить значения неизвестных коэффициентов параболической функции:
Данная система является системой нормальных уравнений относительно параметров
для параболической функции второго порядка.
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода Крамера или метода Гаусса.
Если рассматривать полиномиальную функцию n-ой степени вида
то для определения оценок неизвестных коэффициентов данной модели регрессии методом наименьших квадратов минимизируется функционал F:
Для определения минимума функции нескольких переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений:
Решением данной стационарной системы уравнений будут оценки неизвестных коэффициентов полиномиальной функции n-ой степени.
Критерии регулярности и минимального смещения: http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%93%D0%A3%D0%90#.D0.9A.D1.80.D0.B8.D1.82.D0.B5.D1.80.D0.B8.D0.B9_.D0.BC.D0.B8.D0.BD.D0.B8.D0.BC.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D0.B3.D0.BE_.D1.81.D0.BC.D0.B5.D1.89.D0.B5.D0.BD.D0.B8.D1.8F