3.4. Линейные регрессионные модели с несколькими входными переменными

Если в результате расчета отношения R2 множественная линейная регрессия признана недостаточно точной, переходят к исследованию более сложных моделей:

● полинома с одной независимой переменной y = b₀ + b₁x + b₂x₂ + b₃x₃;

● полинома с несколькими независимыми переменными

y = b₀ + b₁x₁ ++ b₂x₂ + b₃x₂₁ + b₄x₂₂ + b₅x₁x₂;

● обратной модели

или

● комбинированной модели

.

Исследователь сам может предложить вид многофакторной модели на основе анализа априорной информации. Оценка коэффициентов регрессии, критерия адекватности модели и множественного коэффициента корреляции осуществляется по формулам (6.8), (6.9), (6.10), рассмотренным ранее для «классической» множественной регрессии.

3.5. Нелинейные регрессионные модели с несколькими входными переменными

Если в результате построения линейных моделей ни одна из них не была признана достаточно точной, переходят к исследованию более сложных моделей. Любую модель, в результате преобразования записываемую в виде (6.1), можно анализировать методами линейного регрессионного анализа.

Виды преобразований для нелинейных моделей [12]:

● обратное преобразование;

● логарифмическое преобразование;

● преобразование типа квадратного корня.

Если при помощи каких-либо преобразований нелинейная модель может быть приведена к виду множественной линейной регрессии, то она называется нелинейной моделью с «внутренней линейностью» [11]. К таким моделям относятся:

● степенная (мультипликативная) модель

Выполним преобразования

Введем переобозначения:

,

Данная модель имеет вид многофакторной линейной регрессии (см. формулу (6.1)), следовательно, степенная модель может быть преобразована логарифмированием к виду многофакторной линейной регрессии. Это позволяет использовать для расчета коэффициентов регрессии, критерия адекватности и множественного коэффициента корреляции формулы, рассмотренные выше. После вычислений необходимо выполнить потенцирование [11] и вернуться к исходному степенному виду модели;

● экспоненциальная модель

Логарифмирование также позволяет преобразовать экспоненциальную модель к виду многофакторной линейной модели (формула 6.1) и использовать для ее исследования аппарат линейного регрессионного анализа;

● обратная модель

Выполним преобразования:

Введем переобозначения:

Следовательно, обратная модель также может быть преобразована к виду множественной линейной регрессии, что позволяет использовать для ее исследования аппарат линейного регрессионного анализа. Если при помощи любых преобразований нелинейная модель не может быть приведена к виду множественной линейной регрессии, то она называется нелинейной моделью с «внутренней нелинейностью». Для исследования этих моделей в математике разработан аппарат нелинейного регрессионного анализа [12].

3.6. Шаговые методы построения регрессионных моделей

На практике при исследовании объектов и построении регрессионных моделей с несколькими входными переменными используют шаговые (итерационные) методы, позволяющие обоснованно включать в модель только наиболее влиятельные и значимые входные факторы. Чаще всего применяют метод исключения переменных и метод включения переменных.

Метод исключения переменных состоит из нескольких этапов [12]:

● Этап 1: предлагается регрессионная модель, включающая все исследуемые входные переменные.

● Этап 2: рассчитывается частный F-критерий Фишера для каждой входной переменной FXi и оценивается статистическая значимость каждой входной переменной аналогично тому, как это выполняется для модели в целом.

● Этап 3: устанавливается входная переменная с минимальным значением FXi.

● Этап 4: минимальное значение F-критерия сравнивается с граничным значением.

Если Fmin > Fтабл(m, α), то соответствующая входная переменная считается статистически значимой и остается в модели. Следовательно, предложенная на этапе 1 модель статистически значима, адекватна и может быть использована для исследования объекта. Анализ оставшихся входных переменных уже не проводится. Далее рассчитываются коэффициенты регрессии и множественный коэффициент корреляции.

Если Fmin < Fтабл, то соответствующая входная переменная статистически незначима и должна быть удалена из модели как неадекватная. Следует помнить, что для многофакторных моделей табличное значение F-критерия зависит еще и от числа входных переменных [9, 12].

● Этап 5: после удаления статистически незначимой входной переменной для оставшихся входных переменных снова пересчитываются их частные F-критерии.

● Этап 6: снова устанавливается входная переменная (из оставшихся) с минимальным значением FXi.

● Этап 7: этапы 4, 5, 6 повторяются до тех пор, пока в модели не останутся только статистически значимые переменные.

Если после выполнения указанных процедур в модели не останется ни одной статистически значимой переменной, то модель построить нельзя. Скорее всего, причина в просчетах, допущенных при планировании эксперимента на основе анализа априорной информации. В этом случае следует снова внимательно проанализировать априорную информацию, заново спланировать и провести эксперимент и обработать его результаты.

Если в модели остаются входные переменные, то переходят к расчету коэффициентов регрессии и оценке точности модели.

Метод включения переменных также состоит из этапов:

● Этап 0: в «модели» нет ни одной входной переменной.

● Этап 1: рассчитывается корреляционная матрица (из частных коэффициентов корреляции входных переменных друг с другом и с выходной переменной)

где Rky – частный коэффициент корреляции k-й входной переменной и выходной переменной.

Rij – частный коэффициент корреляции i-й и j-й входных переменных

(i = 1, k ; j = 1, k ; i ≠ j).

● Этап 2: выбирается входная переменная с максимальным коэффициентом корреляции Riy. Эта переменная вводится в модель следующей.

● Этап 6: определяется F-критерий новой модели.

Если Fрасч < Fтабл, то вновь введенная в модель входная переменная статистически незначима и должна быть удалена из модели как неадекватная. В модели остается одна входная переменная.

● Этап 7: процедуры 4, 5, 6 повторяются до тех пор, пока не сформируется окончательный вид модели. Дальше переходят к расчету коэффициентов регрессии и оценке точности модели.

Сравнивая данные методы, можно сказать следующее:

● Метод исключения входных переменных дает вполне удовлетворительные результаты при моделировании.

● Метод включения входных переменных более экономичен в вычислительном аспекте.

Вопросы для самоконтроля

1. Что такое многофакторная линейная регрессия?

2. Как оценивается точность многофакторной линейной регрессионной модели?

3. Как оценивается адекватность многофакторной линейной регрессионной модели?

4. Какие значения может принимать множественный коэффициент корреляции?

5. Что такое нелинейные модели с «внутренней линейностью»?

6. Какие бывают нелинейные модели с «внутренней линейностью»?

7. Что такое нелинейные модели с «внутренней нелинейностью»?

8. Обозначьте основные этапы метода включения переменных.

9. Что такое корреляционная матрица?

10. Что такое частный критерий Фишера для входной переменной?Что он характеризует?

11. Обозначьте основные этапы метода исключения переменных.