Методы оценки параметров известного распределения
Пусть
- с.в.;
-
выборка;
- известный
вид распределения с.в.,
-
неизвестные
параметры.
Например,
Существуют два основных метода оценки параметров (параметризации):
1.Метод моментов (Пирсона)
Метод исходит из того, что оценки начального и центрального моментов распределения являются состоятельными оценками соответствующих начальных и центральных моментов. Это дает право приравнять соответствующие эмпирические и теоретические моменты, для точечной оценки параметров, например:
При этом надо
получить не менее, чем
уравнений для определения
параметров распределения. Выбор
начальных или центральных моментов
должен производиться исходя из простоты
вычислений эмпирических моментов и
простоты аналитического выражения
теоретических моментов.
Пример 1.
Пример 2.
.
Достоинство метода моментов – простота.
2. Метод максимального правдоподобия (Фишера)
На основе выборки составляется функция правдоподобия:
,
где
- есть вероятность того, что первое
наблюдение равно
,
при векторе параметров
,
а
-
вероятность того, что второе наблюдение
равно
,
при векторе параметров
и т.д.
В качестве точечной
оценки вектора параметров
принимают такое
его значение
,
при котором функция
правдоподобия достигает максимума.
Чаще для удобства
вычислений берут вместо функции
правдоподобия ее логарифм:
- логарифмическая
функция правдоподобия.
И функция
правдоподобия, и логарифмическая функция
правдоподобия достигают максимума при
одном и том же значении вектора параметров
.
Последовательность действий при реализации метода максимального правдоподобия:
1.
;
2.
;
3.
- уравнение
правдоподобия;
- корень уравнения.
4.
.
Достоинства метода максимального правдоподобия:
1.оценки состоятельны;
2.оценки распределены
асимптотически нормальны (при
закон распределения оценок стремится
к нормальному);
3.оценки имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками (эффективность является важнейшим свойством оценок в экономике).
4. Метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок.
Недостатки метода максимального правдоподобия:
1.сложность вычислений;
2.возможна смещенность оценок параметров распределения.
Парная линейная регрессия
- парная регрессия
- генеральная (
)
линейная регрессия
на
,
-
- неслучайные
величины;
- выборочная (
)
линейная регрессия
на
,
-
- с.в.,
характеризующиеся распределением и
числовыми характеристиками (матожиданием
и дисперсией);
- парная линейная
регрессия
на
Если число объясняющих переменных велико, то говорят о множественной регрессии.
Если условное ожидание объясняемой переменной нелинейно зависит от объясняющих переменных, то говорят о криволинейной регрессии.
- невязка
1.
-
не может выступить в качестве метрики
(компенсация знаков)
2.
-
метод наименьших
квадратов (МНК) (>200 лет)
3.
- метод наименьших
модулей (МНМ)
- квадратическая
функция потерь (зависит
от выбора параметров
),
неотрицательна,
ограничена снизу.
Система нормальных уравнений:
- необходимое
условие существования экстремума двух
переменных
приводит к системе линейных алгебраических уравнений (СЛАУ)
второго порядка
МНК дает оптимальные
(эффективные,
состоятельные, несмещенные) оценки
(т.е.
)
при соблюдении следующих условий
(условий Гаусса-Маркова):
1.
- невязка является
центрированной с.в.;
2.
- при выполнении этого условия невязка
гомоскедастична,
в противном случае – гетероскедастична);
Гетероскедастичность (неравноточность оценок по оси аргумента) является одним из наиболее нежелательных и, силу этого, специальными приемами обеспечиваемых свойств в прикладной статистике и в эконометрике.
3.
-
некоррелированность невязок;
4.
~
-
несмещенность, эффективность оценок