Метод наименьших квадратов: алгоритм метода; условия применения. Обобщённый метод наименьших квадратов
Один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.
МНК применяется также для приближённого представления заданной функции другими функциями и часто оказывается полезным при обработке наблюдений.
Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.
Интерпретация МНК для случая линейной парной регрессии
Классический подход к оцениванию параметров линейной регрессии основан на МНК.
МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) ŷx минимальна:
(1)
Для того чтобы найти минимум функции (1), надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b
Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:
Эта формула получена из первого уравнения системы, если все его члены разделить на n:
где cov(x,y) — ковариация признаков; σх2— дисперсия признака х
Поскольку
,
получим следующую формулу расчета
оценки параметра b
Таким образом явный вид решения системы нормальных уравнений:
Свойство несмещенности состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.
Свойство состоятельности состоит в том, что с увеличением наблюдений дисперсия оценки параметра стремится к нулю, т.е. оценка становится более надежной в вероятностном смысле (значения оценки более плотно концентрируются около истинного значения).
Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.
Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной: εi=yi-ŷx
Добавить про ОМНК!!!
Модели с бинарными фиктивными переменными.
Результативная переменная у в нормальной линейной модели регрессии является непрерывной величиной, способной принимать любые значения из заданного множества. Но помимо нормальных линейных моделей регрессии существуют модели регрессии, в которых переменная у должна принимать определённый узкий круг заранее заданных значений.
Моделью бинарного выбора называется модель регрессии, в которой результативная переменная может принимать только узкий круг заранее заданных значений
В качестве примеров бинарных результативных переменных можно привести:
Приведенные в качестве примеров бинарные переменные являются дискретными величинами. Бинарная непрерывная величина задаётся следующим образом:
Если стоит задача построения модели регрессии, включающей результативную бинарную переменную, то прогнозные значения yi прогноз, полученные с помощью данной модели, будут выходить за пределы интервала [0;+1] и не будут поддаваться интерпретации. В этом случае задача построения модели регрессии формулируется не как предсказание конкретных значений бинарной переменной, а как предсказание непрерывной переменной, значения которой заключаются в интервале [0;+1].
Решением данной задачи будет являться кривая, удовлетворяющая следующим трём свойствам:
1) F(–∞)=0;
2) F(+∞)=1;
3) F(x1)>F(x2) при условии, чтоx1> x2.
Данным трём свойствам удовлетворяет функция распределения вероятности.
Модель парной регрессии с результативной бинарной переменной с помощью функции распределения вероятности можно представить в следующем виде:
prob(yi=1)=F(β0+β1xi), где prob(yi=1) – это вероятность того, что результативная переменная yi примет значение, равное единице.
В этом случае прогнозные значения yiпрогноз, полученные с помощью данной модели, будут лежать в пределах интервала [0;+1].
Модель бинарного выбора может быть представлена с помощью скрытой или латентной переменной следующим образом:
Векторная форма модели бинарного выбора с латентной переменной:
В данном случае результативная бинарная переменная yi принимает значения в зависимости от латентной переменной yi*:
Модель бинарного выбора называется пробит-моделью или пробит-регрессией, если она удовлетворяет двум условиям:
1) остатки модели бинарного выбора εi являются случайными нормально распределёнными величинами;
2) функция распределения вероятностей является нормальной вероятностной функцией.
Пробит-регрессия может быть представлена с помощью выражения:
NP(yi)=NP(β0+β1x1i+…+βkxki),
где NP – это нормальная вероятность (normal probability).
Модель бинарного выбора называется логит-моделью или логит-регрессией (logit regression), если случайные остатки εi подчиняются логистическому закону распределения.
Логит-регрессия может быть представлена с помощью выражения:
Данная модель логит-регрессии характеризуется тем, что при любых значениях факторных переменных и коэффициентов регрессии, значения результативной переменной yi будут всегда лежать в интервале [0;+1].
Обобщённый вид модели логит-регрессии:
Достоинством данной модели является то, что результативная переменная yi может произвольно меняться внутри заданного числового интервала (не только от нуля до плюс единицы).
Логит-регрессия относится к классу функций, которые можно привести к линейному виду. Это осуществляется с помощью преобразования, носящего название логистического или логит преобразования, которое можно проиллюстрировать на примере преобразования обычной вероятности р:
Качество построенной логит-регрессии или пробит-регрессии характеризуется с помощью псевдо коэффициента детерминации, который рассчитывается по формуле:
Если значение данного коэффициента близко к единице, то модель регрессии считается адекватной реальным данным.
При построении модели регрессии может возникнуть ситуация, когда в неё необходимо включить не только количественные, но и качественные переменные (например, возраст, образование, пол, расовую принадлежность и др.).
Фиктивной переменной наз-тся атрибутивный или качественный фактор, представленный посредством определённого цифрового кода.
Наиболее наглядным примером применения фиктивных переменных является модель регрессии, отражающая проблему разрыва в заработной плате у мужчин и женщин.
Предположим, что на основе собранных данных была построена модель регрессии, отражающая зависимость заработной платы рабочих y от их возраста х: yt=β0+β1xt.
Однако данная модель регрессии не может в полной мере охарактеризовать вариацию результативной переменной. Поэтому в модель необходимо ввести дополнительный фактор, например пол, на основании предположения о том, что у мужчин в среднем заработная плата выше, чем у женщин. В связи с тем, что переменная пола является качественной, её необходимо представить в виде фиктивной переменной следующим образом:
С учётом новой фиктивной переменной модель регрессии примет вид:
y=β0+β1x+β2D, где β2 – это коэффициент, который характеризует в среднем разницу в заработной плате у мужчин и женщин.