4 Независимость распределения остатков

о тдельно проверяют независимость остатков -с помощью вида автокорреляционной функции

где – среднее арифметическое произведения двух рядов наблюдений, взятых с лагом k

– значение среднего уровня ряда x_1+k,x_2+k,…,x_n:

– значение среднего уровня ряда x₁,x₂,…,x_n–k:

где к-сдвиг, D-дисперсия остатков. По смыслу это коэффициент корреляции между остатками со сдвигом с к шагами.

То есть чем он больше тем жеще лин связь между остатками и меньше речи обм их независимости.

Для конечного ряда из n наблюдений с задержкой k:

Автокор через несмещ оценку дисперсии

Если АВКФ будет похожа на ниже приведенную -

то все хорошо – остатки похоже независимы (надо только помнить

что автокорреляция проверяет только линейную независимость величин, независимы ли они на самом деле – вопрос более сложного анализа)

Любые другие варианты – плохо

Например практически незатухающий график АКФ ряда свидетельствует о наличии сильного неучтенного в модели тренда.

Вот здесь есть умеренный тренд и неясно выраженной сезонностью

А здесь сильная периодическая составляющая осталась в остатках – ее можно вытащить – об этом позже

5=============???? 4 лист или плюс

II. Cтруктурно-параметрический синтез регрессионных моделей

Как выбирать структуру модели?

Постановка задачи структурного синтеза ё

Заданы, как обычно, матрица наблюдений Х(n*m), вектор отклика Y(n*1)

предполагается задание

А) перечня аргументов Х₁….Х_M, с избытком для синтеза модели: _, M>m (лин. случай). Необходимо найти наилучшую модель или

Б) предполагается синтез наилучшей нелинейной модели тогда количество обобщенных аргументов φ_j(x), j=1,...,m,...неисчерпаемо.

Очевидный вариант, - давайте усложнять структуру модели до тех пор, пока не получим «нулевую ошибку» (то есть догоняем структуру до m= n) - не проходит,

так как любая структура удовлетворит такой «0-й ошибке», в том числе связывающая скорость ракеты с поговьем волков в Тамбовской области.

В идеальных условиях, без шума и корреляции входных аргументов, возможно применить (не всегда –только при достаточно больших n, чтобы рассматривались модели при m<n) подход в лоб

5 =============================

Моделирование по полному списку аргументов

П рименим исключительно при отсутствии шумов и независимости случайных входных признаков.

П роизводим расчет полной модели _{и по уровню значимости коэффициентов оставляем только значимые аргументы. Затем для контроля рассчитываем стандартизованную модель ( это модель с нормированными переменными. такими, что}

_{В такой модели коэффициенты при аргументах имеют смысл коэффициентов корреляции аргумента с выходом модели)}

_{Мы отбрасываем аргументы из полной модели, которые вошли в стандартизованную модель с незначимыми крэффициентами.}

_{Факт отбор или выбраковки аргументов в модель производится по уровню значимости соответствующих коэффициентов модели..}

_{С точностью до переобозначения получаем модель}

Очевидно что при выполнении условий независимости переменных и отсутствия помех лишние аргументы войдут в модель на незначимом уровне определенном по сути вычислительным шумом. Но обозначенные идеальные условия – иллюзия

- …шум вычислений всегда присутствует,

- практически всегда присутсттвует коррелированность аргументов, даже порожденных ГСЧ (корреляция до 0.05-0.07) ,

- не говоря о постановке Б), где коррелированность заложена в постановке задачи (корреляция –некоторая лин. зависимости есть и в нелинейных базисах …. )

Проблемы нарушения условий применения МНК приводят к различным отклонениям в

1.оценках параметров (состоятельности, несмещенности, эффективности) и

2. включению фиктивных аргументовв модель вместо истинных

Как мы уже знаем наращивать точность до 0-й ошибки - плохая стратегия. Модели должны быть более простые, чем досигающие 0-й ошибки при m= n. В этой ситуации любая структура дасть 0-й ошибку.

А какой механизм выбрать для получения более простых (с ненулевой ошибкой) структур, которые наболее соответствовали нашим ожиданиям?

– минимальной ошибке на новых точках?

(имеено эта сверхзадача обычно стоит за любой задачей моделирования).

Решение проблемы проводится по 2-м направлениям

1. Отбор наилучших структур осуществляется за счет применения штрафов за сложность модели в явном виде и

2. Отбор наилучших структур осуществляется за счет применения штрафа за сложность в неявном виде. Данный механизм обеспечивает решение сверхзадачи – минимизацию ошибки модели на новых выборках.

• 1.Первый путь (явный штраф засложность) частично реализуется в классических ШАМР и принципе отбора моделей по критериям Акаике, Шварца и Меллоуза

• 2. Второй путь (неявный штраф за сложность) основан на различных принципах нахождения новых, свежих выборок и отбор осуществляется тех структур моделей, которые обеспечивают минимум ошибки моделей на этих свежих данных.

Методы, которые предлагают свой ответ на вопрос как сформировать новые выборки данных - это

А) будстреп, Б) метод складного ножа (джек найф), и В) МГУА

В МГУА предложены и другие варианты внешнего критерия которые обеспечивают модели оптимальной сложности для различных содержательных задач (аппроксимация, прогноз, дискриминация) и различных условий синтеза моделей.

Методы моделирования с явным штрафом за сложность моделей

Классические шаговые алгоритмы многомерной регрессии

Наиболее распространенные ШАМР – три следующих алгоритма –

1. Метод прямого отбора МПрО (Forward Selection)

2. Метод обратного исключения МОИ (Backward Elimination) или

3. Метод последовательного отбора МПО (Stepwise) или

метод последовательного включения и исключения аргументов.

Данные шаговые регрессионные алгоритмы идеологически похожи. Постулируется некоторый начальный состав аргуметов в начальной модели - при МПрО и МПО – состав пуст – константа, начальный состав при МОИ - полное описание – состав из всех претендентов

В методе прямого отбора МПрО на основании некоторого порогового критерия принимается решение о вводе или не вводе в модель претендента

В Методе обратного исключения МОИ “Backward Elimination” на основе подобного же критерия критерия принимается решение о выводе или не выводе из модели претендента на аргумент модели.

Метод последовательного отбора -в МПО решение о вводе в модель некоторого аргумента принимается по принципу МПрО – затем просматриваются все остальные ранее вошедшие в модель аргументы – и на основе того же порогового критерия определяется - не следует ли теперь вывести из модели какой-либо аргумент из вошедших ранее - как в МОИ

Замечание: во избежание зацикливания процесса включения исключения значимость включения устанавливается меньше значимости исключения

В ШАМР для отбора лучших структур используют

- порог критерия качества модели (связанный с уровнем значимости) и

- коррекцию формулы расчета критерия качества модели, учитывающий штраф за сложность модели.

Подход имеет недостаток в том смысле что не формализует очевидным образом выбор порога в зависимости от условий моделирования (дисперсия и параметры шума, степень коррелированности входов и тд)

А используемый механизм штрафи за сложность – (деление на n-m) мало чувствителен к условиям моделирования при больших и средних значениях n –кол. точек

Остается привести формулу расчета статистики Фишера (F теста) который был создан для сравнения и выводов о различие дисперсий.

Введем обозначения

   —   сумма квадратов ошибок, - здесь

- наблюдаемые значения, - значения модели

   —   среднеквадратичная ошибка, - в завис. от шага использования -

ее в методе шаговой регрессии

где - количество точек, - количество оцениваемых параметров модели - число степеней свободы модели, (-2). – потому что учитывается свободный член модели и одна степень свободы у среднего .

- сумма квадратов регрессии

Есть до ввода регрессора претендента в модель - ,

есть после ввода регрессора претендента в модель

и есть разница

Сумма квадратов регрессий при введении полезного аргумента увеличивается и стремится к значению

Поэтому аргумент с большим приростом - лучше.

Соответственно рассматриваются и - значение среднеквадратичной ошибки до и после ввода регрессора в модель

Тогда статистку (*) называют критерием или F-тестом Фишера. применительно к шаговой регрессии. Доказано что данная статистика f - есть случайная величина (сумма делить на сумму ), распределенная по закону Фишера и ее используют для определения порога отсева аргументов по значению улучшения дисперсии модели.

Вопрос:

Зачем для определения порога отсева аргументов рассматривать отношение (*) а не просто улучшение ошибки или прирост ????. – Резон в том что это отношение расределено по известному закону Фишера и для определения состава аргументов модели привлекают механизм проверки статистических гипотез:

При реализации процедуры включения аргумента - рассматривается гипотеза H₀ , что улучшение качества модели незначимо.

То есть Н0 состоит в том что введенный аргумент - ложный.

Проверка гипотезы H₀ сводиться к последовательности действий:

1. Задаемся уровнем значимости , например 0,01 или 0,05. характеризует риск принятия неправильного решения. То есть риск введения ложного аргумента (вероятность ошибки 1 рода)

2. По специальным таблицам находим -процентную точку распределения Фишера со степенями свободы d1=1 d = n-k-2 (для формулы (**) степень свободы определяется как d₁=(п-k)-(n-k-1)=1). Это значение будет являться нашим пороговым для статистики (*).

Сравниваем точку со значением расчетной статистики . Если окажется, что , то делается вывод о значимости введенного признака и, соответственно, его следует включить в модель (отдается предпочтение гипотезе H₁ с вероятностью ошибиться). Если же , то принимается решение о неэффективности включения переменной в модель,то есть гипотеза H₀ принимается с вероятностью как не противоречащая экспериментальным данным.

( здесь p(F) = -плотность распределения Фишеровской случ величины, чем выше (боль) порог тем меньше уровень значимости - ошибк.1 род).

На рис. видим что зона допуст. расчетных значений лежат выше (в смысле справа) порога , а соответствующая зона расчетной ошибки 1рода - (площадь под хвостом)-должна быть меньше порогового уровня уровня значения ошибки 1-ого рода - . Таким образом задавая в Stepwise =допустим 0.05 (или соответств ) -что есть вероятность вкл. ложного аргумента (вер ош 1 рода) мы этим параметром полностью доопределяем процедуру включения аргументов в модель.

Аналогично при процедуре исключения аргументов из модели рассматривается гипотеза H₀ , что ухудшение качества модели незначимо

Соответственно выбранный уровень значимости =допустим 0.1 (или соотв ) - есть вероятность исключения истинного аргумента (вер ошибки 2-го рода). Соответственно решение о принятии H₀ "гипотезы о незначимости аргумента" _- и исключении аргумента из модели реализуется при выполнении условия . То есть область допустимых для исключения значений лежит слева от

----------- ====

Проблемы методов структурной идентификации

Обратим внимание на множитель ( ) в формуле МST и попадающий в числитель в статистике Фишера (*)

Чем сложнее модель тем более корректируется расчетное значение критерия в сторону уменьшения (то есть ухудшения) препятствуя включению аргумента в модель. Таким образом мы видим что даже классичский ШАМР уже использовал определенную форму штрафа за сложность модели. Правда его влияние при больших n незначительно и практически не влияет на структуру модели.

Другие проблемы ШАМР

1. Для конкретных условий шума в данных (в Х и У) соотношение и - свое "с точки зрения наиболее точного прогноза на свежих точках или более общо - с точки зрения "внешнего критерия" который мы определяем как "истина для нас " - в то время как сам алгоритм ШР опирается лишь на точность текущей обуч выборки и значение и предлагает выбирать нам.

2. известный недостаток теории стат. гипотез:

только результат по введению аргумента (не принятию H0 ) в ней считается достоверным. Результаты по принятию H0 в обще-то ничего не гарантирует. Применяется такая хитрозделанная формулировка – принятие гипотезы H₀ не противоречит исходным данным.

= это приблизительно так как если бы у вас во дворе се8одня ночью убили дворника и обвинили в этом меня только на том основаниии что я спал дома один и некому подтвердить мое алиби. Так ведь еще в эту ночь 200 тыс киевлян спали одни – однако от этого вывод не меняется – гипотеза об обвинении в убичтве принимается на том основании что она не притиворечит исходны. данным. – Так накопайте другие данные – или лучше смените алгоритм - но как часто бвыает в жизни – лень и пользуются тем что имеют.

3. Кроме того, уменьшая (увелич порог качества аргумента) мы не тоько увеличиваем вероятность правильного отвержения ложного аргумента 1- но и очевидно увеличиваем вероятность отвержения вместе с ним и истинного аргумента увеличиваем ошибку второго рода -истинный аргумент тоже может не проскочить слишком высокий порог ФИШЕРА.

И магическое число =0,05 совсем не магическое и в разных задачах при разных шумах и разных корреляциях истинных и ложных аргументов с выходом (в некоторых случаях корреляция ложного будет выше корреляции истинного с выходом - зависит от коэффициента при соответствующем аргументе в модели) это число имеет свое опт значение - а какое ???? - проблема проблема

Мы с вер =0.05 (это вер ош 1-го рода) отвергаем правильное утверждение Н0 сост в том что на входе - ложный аргумент(цель - ложн аргумент -не пропустить его)

то есть в этом случае с этой вероятностью мы пропускаем его в качестве истинного -то есть принимаем ложн аргумент за истинный. 0.95- с этой вероятностью мы собъем ложный аргумент. Но проблема в том что повышая порог Ф - уменьш мы тем самым косвенно увеличиваем ошибку второго рода и сбиваем истинный аргумент заодно с ложным на всякий случай - модели упрощаются, ошибка ее растет.

Воообще оптимальное сочетание и (Fвкл и Fискл) -ключевой нерешенный вопрос АШР от которого и зависит окончательная структура получаемой модели.

Критерии с явным штрафом за сложность модели (продолжение)

И так постулируем следующие части алгоритма структурно-параметрического синтеза.

1.Генератор структур -(он может быть более или менее удачным, то есть более или менее удачно решить выбор пути неполного перебора структур (если перебор полный то это самый простой алгоритм генерации)

2.Механизм расчета параметров (МНК, ЗЛП, град. Процедуры)

3. Критерии выбора структуры (внешние критерии)

Будем сейчас вести речь о самом интересном –критериях отбора структур.

1 Пусть известна дисперсия шума

Наиболее подходящий критерий для выбора структуры оптимальной сложности при условии известности дисперсии шума есть

Критерий Маллоуза

Критерий Маллоуза оказываеся дает при этом несмещенную оценку ошибки прогнозирования

, где RSS – квадрат нормы невязки у, - дисперсия шума, - сложность модели (для лин модели -количество расч параметров).

Но надо знать дисп шума , тогда этот критерий позволяет отобрать структуру с наилучшей оценкой прогноза,

2. Пусть известно распределение шума

Когда известно распределение шума можно построить функцию распределения модели у с учетом этого распределения шума ,

Для нахождения параметров предполагаетсяч использование метода наибольшего правдоподобия. Как известно, для этого надо найти такие _{которые доставляют} максимум ф-ции правдоподобия _{при каждом варианте структуры} в известных точках _{. Тогда для поиска оптимальной структуры используется} информационный критерий Акаике (AIC):

где - максимизированное значение функции правдоподобия модели.

          В частном случае нормального шума он принимает вид критерия Маллоуза. При этом на практике он применяется в упрощенном виде

Этот вариант формулы называют критерием Акаике-Маллоуза

Данный критерий существенно ограничивает рост сложности модели наличием аддитивного члена 2s. Однако проблема применения состоит в том, что в практических задачах функция распределения шума да часто и его дисперсия неизвестны.

А что тогда делать? Используют тогда менее обонованные но практически неплохо работающие критерии

3. Байесовский информационный критерий (критерий Шварца):

 

4. Также популярен критерий финальнрй ошибки предсказания Акаикеприменяемійпри неизвестном характнрн шума и ккорректирующий остаточную сумму квадратов ошибки

Критерии с использованием штрафа за сложнлсть в неявном виде и с порождением новых выборок

1. Бутстреп – имитационное моделирование иссходной віборки с помощью равномерного распределения (получаем выборки размером n с некоторым количеством повторения некоторых точек)

2. Критерий "скользящего контроля", "усредненный критерий регулярности", или "джекнайф"-складной нож:

Используется при крайне малом количестве точек ( когда точек просто маловато используют разбиения выборки по МГУА -- ниже)

- критерий MSEi на n-1 точке при выброшеной из выборки i-той точки

КРИТЕРИИ С РАЗБИЕНИЕМ ВЫБОРКИ

Внешние критерии, применяемые в М ГУА.

Здесь принцип компромисса (в неявном виде) достигается за счет разбиения выборки на две части. По одной части – „внутренней” –

осуществляется оценивание параметров, по другой – „внешней” – определяется прогнозирующая способность моделей. К этой группе относится критерий регулярности:

где A и B – соответственно обучающая и проверочная части выборки, – оценка параметров модели сложности s по МНК на подвыборке А.

Недостатки классических алгоритмов шаговой регрессии.

Итак, подведем первые итоги для АШГ

1. Принятие Н₀ достоверно только для генеральной совокупности данных – тогда новые данные ничего нового не дают – значит гипотеза принята достоверно с заданным уровнем значимости.

Но - когда и где мы имеем генеральную совокупность? В наших задачах (диагностики, доказательной медицины) - очень редко.

Только временные ряды, наблюдаемые длительное время (если не вмешивается нестационарность) удовлетворят тому условию.

2. Тест на адекватность пройдут многие модели, полученные любым из алгоритмов, рассмотренных выше, (а это, как правило, разные модели) так что тест на адекватность не решает вопрос единственности модели.

А вот на свежих данных, заранее признается неадекватность полученных моделей

3. Но самое главное, что проблема единственности гораздо критичнее – ведь единственный инструмент влияния на АШР – уровень значимости “рекомендуется” принимать в диапазоне 0,01-0,05.

Простите, но при разных уровнях значимости в реальной задаче с корр. аргументами и шумом вы будете получать разные модели!!!!

По сути, объективный вопрос синтеза истинной модели интересующего Вас процесса, переводится в плоскость религиозную, в плоскость доверия - выбора доверительной вероятности (или уровня значимости принятия Н₀).

И при этом полностью игнорируется что человек объективно оценивает вероятность происходящих событий только в диапазоне Р=0,1-0,9 , а в хвостах совершенно ее не чувствует - он просто не способен реально сопоставить скажем вероятность 0.01 и 0.0033, кроме того факта, что первая больше. В этих хвостах человек реально не ориентируется, а фактически преобразовывает вероятности по логарифмичесой шкале, сжимая шкалу и деформируя ее. Кстати – это одна из причин популярности ЛШ.

Поэтому если вы возьмете наугад 100 работ, в которых применяется аппарат принятия статистических гипотез, из них в 99 будет фигурировать уровень значимости =0.05. Никто не хочет связываться с этим тонким вопросом и тупо берет некоторое растиражированное значение, подчиняясь стадному чувству. Причем это не только работы неспециалистов, нестатистиков. Данный стереотип настолько въелся в обиход, что когда задаешь этот вопрос специалисту статистику он в первый момент не соображает чего к нему цепляются – ведь все так делают, а то что от этого кардинально меняется результат -игнорируется.

Причем, при выборе , как правило, ссылаются на баланс увеличения - уменьшения вероятности ошибок 1-го и 2-го родов.

Чрезмерное уменьшение уровня значимости (вероятности ошибки первого рода)  может привести к увеличению вероятности ошибки второго рода, то есть вероятности принять нулевую гипотезу, когда на самом деле она не верна (это называется ложноотрицательным решением, false negative).

Ведь =0.05 - это вероятность возникновения ошибки 1-ого рода при принятии Н₀ (пропуск цели-ошибочное принятие Н₀ – ошибочно (с вероятностью α) отсеять значимый аргумент) и уменьшая  мы увеличиваем вероятность ошибки 2-рода принятия незначимого аргумента (увеличивая вероятность сбить своего, или пропуская незначимый аргумент в модель).

Но как учесть что уровень значимости по сути является порогом отсева аргументов, и он должен реагировать на условия синтеза , шум в данных и точки его приложения?

Как же выбрать истинную модель?? Кроме того в реальных условиях шумов в данных, возможно, надо выбирать не истинную а какую-то другую модель????

И последнее: вы выслушали критику в адрес классических АШГ.

Но имейте в виду, что те алгоритмы, о которых я буду в дальнейшем рассказывать (метод группового учета аргументов (МГУА) и др) тоже не свободны уже от других недостатков.

Эти алгоритмы, основанные на трех принципах (необходимого разнообразия моделей путем варьирования их сложности, неокончательного решения - свободы выбора и внешнего дополнения), на которых можно получать единственные модели, тем не менее, не свободны от того, что алгоритмов (в зависимости от внешних критериев, схем усложнения моделей, алгоритмов оценивания параметров) тоже должно быть много. В этом смысле проблема единственности не преодолевается.

Единственный и главный плюс – то, что единственная модель выбирается зряче, с пониманием того, в соответствии с каким основным сейчас для нас свойством (внешним критерием) мы выбираем единственную модель. О внешних критериях – основе МГУА поговорим немного позже.

Так вот, поскольку и в других методах есть свои проблемы, (хотя с моей точки зрения алгоритмы МГУА наиболее совершенны и технологичны в настоящее время), то если бы рядом со мной стоял «старый зубр» - статистик (например Цейтлин Натан Абрамович автор книги “из опыта аналитического статистика”) он сумел бы доказывать что и МГУА не совершенны а в рамках АШР он, Цейтлин сможет получать модели не хуже чем мы по МГУА

Ну что же. В этом он наверное прав. Но для этого надо быть Цейтлиным, и иметь многолетний опыт практической работы статистика, чтобы преодолевать проблему множественности моделей с помощью своего многолетнего опыта.

Для других практиков, не такого высокопрофессионального уровня, методология МГУА позволяет решать сложные практические задачи моделирования не хуже Цейтлина.

Для того что бы вы, (которые не “неЦейтлины”), сами могли решить вашу задачу, смогли решить: вот данный, конкретный метод, подходит ли вам для решения вашей конкретной задачи, Вам необходимо сформировать собственное мнение о применяемых и сравниваемых алгоритмах.

Для этого вам надо хорошо в первую очередь разобраться в своей прикладной задаче. То есть хорошо представлять особенности данных и иметь хотя бы общие предположения о классе опорных функций (степенные, гармонич …..) и порядке сложности предполагаемой модели.

Тогда существует эффективный подход для определения адекватности метода вашей конкретной задаче – конструирование модельного примера.

Проверка структуры модельным экспериментом

Если вы разбираетесь в сути вашей практ. задачи то проверить метод на адекватность в конкретных условиях достаточно просто – создать модельный пример: то есть

задаемся предполагаемой моделью,

задаемся аргументами с запасом (истинные и фиктивные),

генерируем входные данные,

по заданной модели считаем выход.

Полученные входы и выход даем на вход тестируемого алгоритма и смотрим что он нам нарисует. Рассмотрим что такое при этом хорошо и что такое плохо. Если

1. метод при отсутствии шума в данных и некоррелированности входных аргументов дает решение на нашей структуре – это нормально. В противном случае метод безоговорочно не подходит как не обладающий сходимостью к истинной структуре.

2. Метод сходится к истинной структуре в большинстве практически значимых случаях пр условии коррелированности входных аргументов. Это хорошо - значит он обладает сходимостью к истинной структуре отфильровывая фиктивные аргументы и отбирая истинные в модель.

3. если при коррелированности аргументов и введении шума метод 3а)упрощая модель (в условии шума более простые модели обладают меньшими ошибками чем более сложные и при этом даже истинные)

обеспечивает минимальную ошибку на свежих данных – это говорит о том что синтезируутся модели оптимальной сложности – и это хорошо – для таких моделей будем иметь минимальные ошибки и прогноза и аппроксимации на новых данных

3б) Если метод при этом остается на подмножестве истинных аргументов – это отлично, так как решает сразу 2 задачи – получает модель оптимальной сложности при этом на подмножестве истинных аргументов.

К какому варианту стремится – к 3а или 3б зависит от цели задачи.

–Если стоит задача прогноза или аппроксимации в сравнительно неизменных условях – то очевидна полезность 3а.

- Если стоит та же задача в сильно изменяющихся условиях или задача поразумевает влияние на изучаемый процесс через истинные аргументы (то есть нужна модель максимально приближенная к физической модели) то необходимо решение как в 3б.

Независимая вставка ---------------

Таким образом при фиксации условий моделировании (как в модельных примерах так и в реальной задаче) необходимо различать три ситуации:

1. Конструируемые модели линейны , - строятся на множестве , здесь - истинные аргументы, остальные - фиктивные

Входное множество Х – независимые переменные, (шума в данных нет)

Задача: отыскать среди всех моделей которые можно построить на Х - истинную модель

(почему мы вводим фиктивные переменные?? – потому что в реальной задаче мы никогда не знаем истинной структуры, что входит в модель – то есть мы копируем реальную практическую ситуацию)

2. Конструируемые модели нелинейны,(шума в данных нет),

строятся на базисе ,

здесь - множество истинных аргументов нелинейной модели, остальные - - фиктивные, - вектор входных аргументов . Среди моделей ищем истин. модель

Как видим вторая задача может быть сформулирована точно как первая с точность до переобозначения (кроме…):

2.а Конструируемые модели линейны, строятся на базисе

, здесь - множество истинных аргументов, остальные - - фиктивные, Среди моделей ищется истинная модель

(***) Но неременные zi, могут быть коррелированы – это единсвенное но важнейшее отличие в данных постановках.

Т.о. п.2 может быть сформулирован точно как п.1

только с условием то. Есть

2б.Конструируемые модели линейны но имеется условие (***) возможной коррелируемости входных переменных.

И наконец.

3. В данных ….. присутствует шум в общем случае неизвестого уровня распределения и точек приложения.

Рассмотрим первую ситуацию.

Очевидно, что в данном случае любой шаговый алгоритм справится с открытием истинной струкуры, ведь любой аргумент для которого будет истинным (за сключением множества фиктивных аргументом мощности меры 0, вероятность наличия которых в нашем списка = 0 – то есть вмешаться может только слепой случай)

Покажем это

Итак, по формулировке 1. – имеем

для всех в силу их независимости и

для всех истинных (по определению, истинный аргумент имеет связь с выходом)

Предположим обратное,

что для некоторого выполняется

Тогда связан с выходом .

И при этом по определению не является истинным аргументом.

Когда такое возможно? – либо это случайность (генератор так случайно сгенерировал - этомножество меры 0, вероятность которого - 0) либо связан с неким , то есть

для них , что противоречит условию независимости всех

Поскольку выбор в претенденты на участие в модели происходит в шаговых алгоритмах по величине то оно последовательно включит истинные аргументы в модель.

----------------------

Вот во всех остальных случаях, у классических шаговых алгоритмах начинаются сложности.

Если

1.поданные на вход переменные (истинные и фиктивние) независимы а

2. данные точные без шума и

3.при этом количество наблюдений количества претендентов на аргументы в модель

то с такой задачей открытия истинной модели могут справится классические шаговые и другие неклассические методы индуктивного моделирования.

Покажем это.

Более серьезные проблемы классических шаговых алгоритмов

Первым проблемным изменением в постановке – отмена независимости входных аргументов. Это реальная проблема в силу того что

1. в реальности входные аргументы часто могут быть

коррелированы (СОЕ и температура, белок в моче и краетинин в

крови и тд )

2. истинный характер модели нам не известен и в качестве претендентов на входящие аргументы мы должны формировать различные нелинейные комбинации из исходного набора входных аргументов. Ну тот самый базис о котором мы упоминали выше

Для сведения:

линейная корреляция х и х² где-то 0.97 а х и х³ - 0.95 и теперь при истинных аргументах х₁ и х₂ , аргумент х₁х₂ может быть фиктивным, но тем не менее иметь большую корреляцию с выходом.

В таких условиях классические шаговые алгоритмы сталкиваются с поблемой множественности решений.

Истинные и фиктивные коррелируют, конкурируют и претендуют на вход в модель. При этом сильно коррелирующий фиктивный оттесняет слабо влияющего с малым коэффициентом истинный аргумент. В результате путь к истинной модели ША может циклится или вообще к ней не прийти. Можете сами попробовать – в этих условиях раззичные алгоритмы дадут результирующие различные структуры, Один и тот же алгоритм часто даст вам разные решения при смене условий счета

– изменений в данных,

- изменений в составе переменных (при неизменной истинной модели и неизменном присутствии истинных аргументов)

- изменений в порядке ввода- вывода аргуменнтов в модель

- изменений в значениях порогов отсева аргументов.

Точное решение возможно только при полном переборе всех моделей претентентов – только тогда получим истинную модель

Но полные перебор чаще всего не возможен –

Действительно рассматривая скажем степенные модели -

Количество членов полного полинома Колмогорова – Габора –

При при входных аргументах и заданной -той его степени

количество членов такого полинома можно рассчитать по формуле

а количество частных моделей которые можно образовать из этого полинома -

Пример.

Таким образом при несчастных 10-ти входных аргументах 4 степени полного описания порождает полинома с что порождает моделей претендентов - это приблизительно моделей которые можно из него построить.

Это число не только изобразить его вообразить невозможно. Тем более пересчитать эти модели.

Попробуте их перебрать за реальное время …..

Как видим нарушение уже первого условия порождает необходимомость разрешения проблемы множественности моделей не прибегая к процедуре полного перебора –надо предложить какой-то принцип, позволяющий найти путь к истинной или квазиистинной модели без полного перебора претендентов моделей.

Следующая проблема не менее реальна и еще более запутывает задачу поиска структуры. – проблема шума в данных – мы помним что при это нарушаются свойства проекционности аппарата МНК – нарушаются свойства оценок, но проблема в том что на зашумленных данных найти истинную структуру вообще может бытььпроблематично – если неизвестны х-ки шума и точки их приложения алгоритм будет тупо подстраиваться под шум.

Основная проблема – проблема необоснованности выбора структуры модели классическими АШГ многократно обостряется в связи с тем что порог используемый критерием Фишера в виде уровня значимости

на самом деле регулиркет не только риск ошибки

– его выбор должен учитывать уровень шума и точки его приложения.

Ведь увеличение уровня шума например на выходе неизбено требует загруьить модель (не подстраивать ее под шум) а значит изменить уровень увеличить значимости с тем чтобы более жестко фильтровать апгументы в модель и ее упрощать .

Гораздо сложнее учесть шумы на входе тем более если они проходят нелинейное преобразование модели.

Однако методологически механизмов учета данных коррекций в агоритмах нет что делает выбор структур в условиях шума необоснованным.

Ну и последняя третья проблема из нашего списка когда у нас не

а или не дай бог

При иложении проблемы я буду неиного упрощать схему и критерии АШР буду говорить только о первом - Методе прямого отбора и о его критерии как минимуме остаточной дисперсии или максимуме точности модели- эти упрощения непринципиальны так как речь пойдет все о том же - о множкственности получаемых моделей и о необоснованности выбора структуры классическими алгоритмами.

И так принимаем в полном соответствии с критерием МНК синтезируемая модель должна стремиться к максимальной точности – мин МСЕ.

И так возращаемся к десткому вопросу при моделировании – что такое хорошо и что такое плохо. + То есть что такое хорошая модель и что такое плохая.

И вообще – мы часто подменяем суть задачи - хотим решать одну но не можем ее решить (получить качественную модель во всей области определения) - тогда решаем другую попроще, которую можем решить (точную только в известных точках) и пользуюмся ей как будто решили ту, более сложную

при нарушении условия 1. (а это также наиболее распространенный случай задач когда точек не тысячи а сотня или десяток –два -пять – особенно при структурно-пар синтезе ) мы будем говорить о применении большой полезной группы методов под общим названием МИМ –Методы индуктивного моделирования ( в том числе МГУА – украинское изобретение - Ивахненко)