15. Критерий Хи-квадрат.

Критерий - статистический критерий для проверки гипотезы , что наблюдаемая случайная величина подчиняется некому теоретическому закону распределения.

Определение

Пусть дана случайная величина X .

Гипотеза : с. в. X подчиняется закону распределения .

Для проверки гипотезы рассмотрим выборку, состоящую из n независимых наблюдений над с.в. X: . По выборке построим эмпирическое распределение с.в X. Сравнение эмпирического и теоретического распределения (предполагаемого в гипотезе) производится с помощью специально подобранной функции — критерия согласия. Рассмотрим критерий согласия Пирсона (критерий ):

Гипотеза : Хⁿ порождается функцией .

Разделим [a,b] на k непересекающихся интервалов ;

Пусть - количество наблюдений в j-м интервале: ;

- вероятность попадания наблюдения в j-ый интервал при выполнении гипотезы ;

- ожидаемое число попаданий в j-ый интервал;

Статистика: - Распределение хи-квадрат с k-1 степенью свободы.

16. Скрытые Марковские модели. Переход к скрытым марковским моделям

В вышеописанной марковской модели каждому физическому явлению соответствовало определенное состояние модели. Эта модель, к сожалению, слишком ограничена и ей не под силу решение многих актуальных проблем. В этом разделе мы рассмотрим марковские модели, в которых наблюдаемая последовательность — это результат переходов в соответствии с обозначенными вероятностями. В данном случае модель (скрытая марковская модель) — это результат двух случайных процессов. Первый — скрытый процесс — его никак нельзя зарегистрировать, но его можно охарактеризовать с помощью другого случайного процесса, который предоставляет нам набор сигналов — наблюдаемую последовательность. Проиллюстрируем это описание на примере подбрасывания монеты.

Пример подбрасываемой монеты. Действуем по следующему сценарию. Вы находитесь в комнате, а за перегородкой — в другой комнате — находится человек, который подбрасывает монету. Он не говорит, как именно он подбрасывает монету, а может он её вообще ленится подбрасывать. Он лишь говорит вам результат каждого падения монеты: орел или решка. В этом и заключается суть скрытого процесса (вы не знаете что происходит с монетой), когда о процессе вы можете судить лишь по наблюдаемой последовательности , где  — это орел, а  — это решка.

Как же построить скрытую марковскую модель, соответствующую этой ситуации? Первый вопрос: сколько состояний будет у модели и что означает каждое состояние такой модели? Предположим, что мы подбрасываем одну единственную монету и других у нас нет. Тогда выбор мы остановим на модели с двумя состояниями, где одно состояние означает выпадение орла, другое — решки.

Рис. 2. Три примерных марковских модели, которые могут описать эксперимент со скрыто подбрасываемой монетой. (а) 1 монета участвует в подбрасвании, (2) 2 — монеты, (3) — три монеты.

Эта модель изображена на рисунке 2(а). В этом случае марковская модель является открытой и единственное, что мы можем сделать с этой моделью — это оптимизировать вероятность смены состояния. Следует заметить, что скрытая марковская модель, являющаяся аналогом модели, изображенной на рис. 2(а), будет представлять собой модель одного состояния. В этой модели единственное состояние означает, что подбрасывается всего лишь одна монета.

На следующем рисунке 2(б) изображена СММ двух состояний. В этом случае каждое состояние соответствует различным монетам, которые подбрасываются в ходе эксперимента (напр. 1 копейка и 5 рублей). Каждому состоянию соответствует распределение вероятностей между выпадением орла и решки, а также матрицей вероятностей переходов (матрицей переходов), указывающей вероятность перехода из одного состояния в другое. Переход из состояния в состояние согласно заданным вероятностям из матрицы переходов может осуществляется на основе того же подбрасывания монеты или на основе любого другого случайного события.

На третьем рисунке 2(в) представлена модель, учитывающая тот факт, что подбрасываются три различных монеты, причем выбор между ними осуществляется опять же на основе какого-либо случайного события.

Здесь, как и каждый раз при проектировании мы задаемся вопросом: какая из трех моделей наилучшим образом подходит для описания наблюдаемой последовательности? Хорошо видно, что первая модель (рис. 2(а)) имеет всего лишь 1 неизвестный параметр. Модель для двух монет (рис. 2(б)) имеет 4 неизвестных параметра. И наконец, модель для трех монет (рис. 3(в)) имеет 9 неизвестных параметров. Таким образом, СММ с большим количеством степеней свободы по существу более работоспособна, чем ее меньшие аналоги. Также теоретически доказано (и это мы увидим далее), что в современных условиях существуют ограничения на размер моделей. Более того, может оказаться, что в случае, когда человек за стеной подбрасывает одну единственную монету, мы выберем модель трех состояний. В таком случае выясняется, что состояния системы не соответствуют реальным состояниям за стеной; и, следовательно, мы используем избыточную модель.

Пример шариков в вазах. Сейчас мы дополним СММ новыми структурными элементами, для того чтобы она могла решать ряд более сложных задач. Поможет нам в этом пример с шариками в вазах (рис. 3).

Рис. 3. Модель с N состояниями (вазами) и шариками, цвета которых обозначают элементы наблюдаемой последовательности.

Допустим, у нас есть стеклянных прозрачных ваз. В каждой вазе — большое число шариков разного цвета. Полагаем, что у нас в корзине лежат шарики различных цветов. Физически это можно представить следующим образом. Человек находится в комнате с вазами. Каким-либо случайным образом он выбирает любую вазу, засовывает руку поглубже, и вытаскивает шар. Цвет шара записывается в журнал показаний — наблюдаемую последовательность, и человек кладет шар обратно в эту вазу. Потом наш человек выбирает новую корзину, идет к ней, и вытаскивает оттуда новый шар, и так далее. В результате мы получаем последовательность цветов — результат работы СММ — наблюдаемую последовательность.

Очевидно, что пример шариков в вазах соответствует скрытой марковской модели, где каждое состояние модели — это выбранная ваза, причем у различных ваз различная вероятность вытащить шарик красного (или другого) цвета, что соответствует различному распределению вероятностей для каждого состояния. То, какая ваза будет выбрана следующей, зависит от матрицы переходов СММ, то есть зависит и от того, у какой вазы мы сейчас находимся.