36.Кореляционные зависимости. Линейный регрессионный анализ.

Регрессия - величина, выражающая зависимость среднего значения случайной величины у от значений случайной величины х.

Уравнение регрессии выражает среднюю величину одного признака как функцию другого. Линейная - регрессия, применяемая в статистике в виде четкой экономической интерпретации ее параметров: у = а+b*х+Е; Корреляция для нелинейной регрессии:   при R _[0;1].

Чем ближе R к 1, тем теснее связь рассматриваемых признаков.

Задачи корреляционно-регрессионного анализа:

1) выбор спецификации модели, т. е. формулировки вида модели, исходя из соответствующей теории связи между переменными;

2) из всех факторов, влияющих на результативный признак, необходимо выделить наиболее существенно влияющие факторы;

3) парная регрессия достаточна, если имеется доминирующий фактор, который и используется в качестве объясняющей переменной. Поэтому необходимо знать, какие остальные факторы предполагаются неизменными, так как в дальнейшем анализе их придется учесть в модели и от простой регрессии перейти к множественной;

37. Дисперсионный анализ

Дисперсионный анализ применяется для исследования влияния одной или нескольких качественных переменных (факторов) на одну зависимую количественную переменную (отклик).

В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные):  , а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат.

Основной целью дисперсионного анализа является исследование значимости различия между средними с помощью сравнения (анализа) дисперсий. Разделение общей дисперсии на несколько источников, позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью.

Сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого признака на отдельные компо­ненты, обусловленные влиянием конкретных факторов, и проверке гипотез о значимости влияния этих факторов на исследуемый признак. Сравнивая компоненты дисперсии друг с другом посредством F—критерия Фишера, можно определить, какая доля общей вариативности результативного признака обусловлена действием регулируемых факторов. Описание критерия: Заданы две выборки   .

Обозначим через   и   дисперсии выборок   и  ,   и   — выборочные оценки дисперсий   и  :

;

,

где

 — выборочные средние выборок   и  .

31.

Метод максимального правдоподобия.

Пусть есть выборка   из распределения  , где   — неизвестные параметры. Пусть  — функция правдоподобия, где  . Точечная оценка

называется оце́нкой максима́льного правдоподо́бия параметра  . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия   используют логарифмическую функцию правдоподобия  . Так как функция   монотонно возрастает на всей области определения, максимумлюбой функции   является максимумом функции  , и наоборот. Таким образом

,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума - равенство нулю ееградиента:

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана - матрицы вторых производных:

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

Максимальная апостериорная вероятность:

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Предположим, что нам нужно оценить неконтролируемый параметр выборки   на базе наблюдений  . Пусть  - выборочное распределение  , такое, что   - вероятность   в то время как параметр выборки  . Тогда функция известна как функция правдоподобия, а оценка как оценка максимального правдоподобия  .

Теперь, предположим, что априорное распределение   на   существует. Это позволяет рассматривать   как случайную величину как в Байесовской статистике. тогда апостериорное распределение  :

где   плотность распределения  ,   - область определения  . Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает   как апостериорное распределение этой случайной величины:

Знаменатель апостериорного распределения не зависит от   и поэтому не играет роли в оптимизации. Заметим, что MAP оценка   соответствует ML оценке когда априорная   постоянна (т.е., константа).