4 Методика статистического моделирования (прикладной регрессионный анализ)

4.1 Разработка линейных статических статистических моделей

Данная методика является частным случаем общей методики моделирования. Предварительная постановка задачи, анализ характеристик объекта, постановка задачи моделирования выполняются в соответствии с общей схемой.

Если по итогам анализа характеристик объекта моделирования он был отнесен к классу стационарных (выход зависит только от входа, объект не меняется во времени) со случайным характером зависимостей (взаимосвязь выхода и входа является неизвестной), то возможно применение данной методики.

В рамках гипотезы о механизме процесса объект представляется в виде:

где ,.., - факторы (регрессоры, предикторы)

– отклик.

При этом внутренней структурой и порядком функционирования объекта мы пренебрегаем (ничего не знаем). Такой подход к моделированию объекта получил название «черный ящик». Ниже приведены несколько примеров моделей типа «черный ящик».

1. Оценка расхода топлива автомобилем на 100 км. Отклик – расход топлива, факторы – вес, ср. скорость, ср. ускорение, парусность, стаж водителя. Допущения – движение по горизонтали, ветер не учитывается, топливо не меняется (то же самое с другими частями автомобиля).

2. Рост растений (животных) в зависимости от состава пищи.

3. Доходность маршрутного такси в зависимости от количества посадочных мест, среднего количества остановок, среднего времени работы на маршруте.

Факторы и отклик формализуются в виде переменных. Они должны быть непрерывными переменными.

Структура математической модели представляется в виде линейного полинома:

y = b₀ + b₁x₁+…+b_nx_n (4.1)

Примечание. В общем случае полином может быть нелинейным по переменным, то есть включать x_i², x_ix_j, а также любые произвольные функции φ(x_i). В этом случае нелинейные зависимости с помощью линеаризации сводятся к линейным. Например, полином y = b₀ + b₁x₁+ b₂x₁² сводится к линейному y = b₀ + b₁x₁+b₂x₂ путем замены х₂=х₁².

В математической статистике подобные полиномы получили названия регрессионных.

Строго понятие регрессии определяется так.

Пусть х₁,..,х_n, у – случайные величины с заданным распределением вероятностей. Если для каждого набора значений х₁=х₁,.., х_n=х_n определено условное математическое описание y(х₁,..,х_n)=E(Y/(х₁=х₁,.., х_n=х_n)), то функция y(х₁,..,х_n) называется регрессией величины у по величинам х₁,..,х_n, а ее график – линией регрессии. Полином (4.1) называется линейной регрессией. Он определяет среднее значение отклика при заданных значениях факторов (усредненность берется, исходя из многократности повторения опыта). Поэтому зависимость носит вероятностный характер, нет 100% уверенности в том, что при конкретном наборе значений факторов, фактическое значение отклика будет очень близким к рассчитанному по зависимости (4.1).

Регрессионный анализ – статистический метод исследования зависимости у от х₁,..,х_n.

Для нахождения неизвестных параметров b₀,..,b_n применяется один из наиболее распространенных методов параметрической идентификации – метод наименьших квадратов (МНК).

Методика применения МНК состоит из этапов:

• сбор статистических данных о зависимости отклика от факторов;

• обработка и исследование этих данных;

• расчет вариантов значений параметров (множественный регрессионный анализ) и их оценок адекватности.

Сбор статистических данных осуществляется в ходе эксперимента. Эксперимент бывает:

• активный - наиболее дорогостоящий (исследователь задает значение факторов и наблюдает за значением отклика);

• пассивный (исследователь просто фиксирует происходящее).

• активно-пассивный (часть факторов исследователь задает по своему усмотрению, а часть принимается без изменения).

Примечание. Эксперимент должны проводить люди, заинтересованные в качестве разрабатываемой модели, руководствуясь инструкциями.

В ходе эксперимента объект должен быть в режиме нормального функционирования, и не должен меняться (как сам объект, так и методика проведения эксперимента). Результаты эксперимента представляются в виде таблицы:

y	x1	…	xn
y1	x11	…	x1n
…	…	…	…
ym	xm1	…	xmn

Количество записей в таблице должно быть больше либо равно числу факторов, лучше всего на порядок (в 10 раз). Затем данные эксперимента подвергаются статистической обработке и анализу.

На основе данных:

• рассчитываются математическое ожидание, среднеквадратическое отклонение, минимум, максимум каждого из факторов и отклика;

• проверяются гипотезы о законе распределения факторов и отклика (строятся гистограммы);

• строится корреляционная матрица (между откликом и факторами, а также между факторами).

Исследование статистической информации позволяет выявлять ряд ошибок:

• ошибки ввода (если минимум или максимум выходит за допустимые пределы);

• ошибки методики проведения эксперимента.

Для успешного применения регрессионного анализа желательно, чтобы отклик имел нормальное распределение (распределение Гаусса).

Если на гистограмме имеется несколько мод (полимодальность), то в ходе эксперимента менялись метод или объект. В этом случае статистику необходимо разбить на несколько матрицы (вокруг каждой моды).

Построение матрицы коэффициентов корреляции является элементом корреляционного анализа.

Коэффициент корреляции показывает взаимосвязь между случайными величинами. Его модуль (от 0 до 1) показывает величину взаимосвязи (чем больше, тем зависимость больше), а знак – направление влияния («+» - прямая зависимость, «-» - обратная).

Корреляционная матрица симметрична относительно главной диагонали, на главной диагонали – единицы.

Очевидно, что отклик должен хорошо коррелировать с факторами.

Для расчета параметров модели применяется процедура многошагового регрессионного анализа.

Результаты эксперимента представляются в виде информационной матрицы:

( 4.2)

Значения в столбцах проходят процедуру центрирования (вычитания математического ожидания) и нормирования (деления на среднеквадратическое отклонение).

Математическая модель представляется полиномом:

(4.3)

где - соответствующие масштабированные значения параметров и факторов.

Расчет значений масштабированных коэффициентов производится по формуле:

(4.4)

Затем проводится обратная масштабированию процедура, в результате чего полином приобретает вид:

(4.5)

Для полученного полинома рассчитывается оценки:

• остаточная дисперсия (масштабированная и натуральная) – характеризует отклонение значений полинома относительно значений объекта (должна стремиться к 0);

• отношение Фишера – показывает, во сколько раз полученный полином лучше описывает поведение объекта, чем зависимость y=y_ср. (должно быть >1, стремится к ∞);

• коэффициент множественной детерминации – определяет, насколько полученная зависимость близка к физическому закону (должен стремиться к 1). Имеется аналитическая связь между коэффициентом множественной детерминации и масштабированной остаточной дисперсией: .

Для каждого фактора рассчитывается коэффициент значимости. По модулю значимость показывает силу влияния изменения фактора на изменение отклика, а знак – направление («+» – при увеличении фактора отклик увеличивается, «–» – уменьшается). Желательно, чтобы у всех факторов модуль значимости был больше 1.

С целью формирования полинома, наилучшего по оценкам, возможно применение многошаговой процедуры. После расчета оценок для первого полинома (полный полином, т.к. содержит все факторы), выбирается фактор с наименьшим по модулю уровнем значимости. Если его значимость меньше по модулю заданного критического уровня и это не единственный фактор, то он исключается из модели. Соответствующий ему столбец исключается из информационной матрицы и проводится расчет новой модели по формуле МНК и ее оценок. Если отношение Фишера в результате улучшилось (стало больше), то процедура оптимизации полинома продолжается. Иначе оптимальным считается полином, полученный на предыдущем шаге. На рисунке 4.1 приведена блок-схема алгоритма многошагового регрессионного анализа.

Рисунок 4.1 - Алгоритм многошагового регрессионного анализа

Улучшение оценок полинома можно достигнуть путем удаления части строк из информационной матрицы. Удаляются строки, при подстановке которых значения модели очень сильно отличаются от фактических значений объекта (удаление изолированных точек). При каждом удалении необходимо принимать решение, насколько данные в строке типичны для объекта, и не исказит ли их удаление модель. Удалять можно не более 10% данных.