9.3 Общая схема регрессионного анализа

Возвратимся к нашему учебному примеру и к исходному теперь мысленному «портрету» (см. ниже) материальной системы (ситуации), которую мы намерены изучать дальше экспериментально.

Ось откликов

y

x

{x} Ось уровней

Рис. 9.14 Корреляционное поле

Входе реального эксперимента из этого сплошного корреляционного поля «вырезаются» дискретные выборки, в общем случае различного, объёма n_l (здесь j =1,2,3,. ... n_l – номер очередного опыта в серии в l-той серии опытов. Этим номером нужно помечать условное математическое ожидания m_l≡ m_lY случайной величины Y). На рисунке ниже условно показана только одна из таких. выборок – малый «рой» точек над x_l (выделен на фоне воображаемого общего поля корреляции). На самом деле (это здесь не удалось изобразить наглядно) плотность точек и внутри «роя», как и внутри «облака» в целом, возрастает к его центру). Выделенная стрелкой точка в центре выборки – групповое среднее значение Y_lСр ~ m_l (здесь, как и везде «~» означает: «приблизительно совпадает с…») отклика системы y_l при воздействии на неё фактора, выставленного в каждом опыте серии на уровне x_l. При этом, очевидно, что X_lСр= x_l, а Y_lСр = y_lj ~ m_l

Выбирая интервал между x_l и x_l+1 (между соседними уровнями) оптимальным,

Ось откликов

y

y_jl{

Y_lСp x

x_l Ось уровней

Рис. 9.15 Возможный вид реальной выборки при x= x_l

эксперимент можно спланировать так, что «прозондировать» удастся всё (без «просветов» между отдельными выборками) поле корреляции и нанести на него множество точек y_lj, каждая из которых разместиться точно над x_lj

. В итоге, на фоне сплошного воображаемого поля корреляции, мы увидим (здесь это не показано) единое дискретное множество точек одну «большую», дискретную выборку, которую называют экспериментальным полем корреляции.

Пометив «жирно» в каждой исходной группе Y_lСр точки, одна из которых на предыдущем рисунке была выделена стрелкой, мы получим «цепочку» точек, а соединив их, – увидим (см. ниже) ломаную линию. Она проходит через самые «плотные» участки поля корреляции (в которых Y_lСр ~ m_l) и отображает собой экспериментально выявленную зависимость средних значений Y_lСр ~ m_l отклика y от (обусловивших этот отклик) значений x_l =X_lСр, фактора x. Эта линия – всегда ломаная потому, что она – экспериментальная (получена в ходе и в результате измерений в отдельных точках сплошного поля корреляции) и называется она экспериментальной линией регрессии случайной величины Y на случайную величину X.

Ось откликов

y

x

x₁ x₂ x_{3 …} x_4….. x_L. Ось уровней

Рис. 9.16 Экспериментальная линия регрессии

Настоящая линия регрессии – воображаемая линия, которую в координатах XY можно мысленно провести точкам с максимальной плотностью «большого» поля корреляции, всегда плавная. Её можно приблизительно нарисовать здесь же, «сгладив» углы ломаной линии. Здесь это пока не сделано потому, что вся «добытая» в эксперименте информация уже содержится в экспериментальной ломаной линии, а нарисованная вручную плавная линия ничего нового не даёт. Заметим только, что эта плавня линия изображает собой реально существующую и обусловленную внутренней структурой (природным устройством) исследуемой системы статистическую зависимость между средними значениями отклика и значениями уровня (вызвавшего этот отклик) воздействующего на систему фактора x. Именно, эта зависимость здесь нас интересует. Это её, искомую, мы имели в виду, вводя выше (см. лист 155) функция y=f(x)) в качестве её временного заместителя. Следовательно, экспериментальная линия регрессии это – её «приблизительный портрет». И это – всё, что может «сказать» наш будущий эксперимент о функции регрессии. Так обычно называют функцию f(x), конкретную форму которой мы и хотим выявить при помощи эксперимента.

А теперь возвратимся к началу раздела, где мы представили исходную ситуацию и отобразили её двумя (почти повторёнными ниже) картинками (см. лист 155). На правом рисунке неизвестная функция (искомая математическая модель исследуемой системы y=f(x)) там была впервые воспроизведена «наугад» в виде пунктирной линии.

Исследуемая

материальная система

Фактор Отклик y₃ y= f(x)

x y₃ y= f(x) y₂

y₁

Рис. 9.17 Исходная x₁ x₂ x₃ x

графическая модель системы Ось уровней

Теперь (после всех представленных Рис. 9.18 Итог эксперимента

выше теоретических рассуждений) ясно, что эксперимент позволит показать на правом рисунке экспериментальную линию регрессии («жирная» ломаная линия), которая либо подтверждает, либо опровергает (здесь – опровергает) первоначальные «догадки» (предположения, гипотезы) о форме функции y=f(x). Ясно так же, что новая гипотеза о форме функции y=f(x), построенная после эксперимента вручную путём сглаживания углов ломаной линии (тонкая штрих - пунктирная линия регрессии на правом рисунке) выглядит более правдоподобно.

И ещё. После возвращения к началу (и после всех теоретических рассуждений) становится ясно, что рисовать (на фоне экспериментальной линии регрессии) предположительный вид истинной линии регрессии всё же стоит. Будучи нарисованной, эта плавная линия «очень похожа» (об этом говорит не очень большой «разброс» экспериментальных точек, «роящихся» около неё) на «настоящую» линию регрессии, на ту плавную линию, уравнением которой является уравнение y=f(x), и неизвестная (пока) нам

функция регрессии – функции f(x).

После реального эксперимента она остаётся неизвестной нам ровно столько времени, насколько его понадобится на то, чтобы по нарисованному вручную её «приблизительному портрету опознать» эту функцию. Это значит: нужно обратиться к методам аппроксимации и среди известных математических объектов (функций) найти аналитическое выражение типа y’= φ(x), которое наилучшим (то есть, упомянутый выше «разброс» на практике можно игнорировать) образом описывает искомую плавную линию.

При «удачном» поиске φ(x) всюду в корреляционном поле y’~ y.

Найденная таким способом аппроксимирующая функция φ(x) (если «разброс» покажется большим, то ищется другая функция, при этом часто обсуждаемую здесь плавную линию проводят как-то иначе, пытаясь этот «разброс» уменьшить) и будет хорошей математической моделью теперь уже исследованной системы. На бывшем «чёрном ящике» пишут: y= φ(x), и он становится «совершенно прозрачным». Найдя её, Вы теперь знаете, как управлять системой (какими воздействиями «вынудить её откликнуться» так, как Вам это в данный момент нужно). Подчеркнём особо очень важное здесь обстоятельство: математическая модель системы y’= φ(x) это – не уравнение реальной линии регрессии, которая навсегда осталась неизвестной, а выявленное в эксперименте аналитическое выражение (здесь функция y’= φ(x)), которое очень похоже на реальную функцию регрессии (y = f(x)) и реальную регрессию описывает приблизительно (с практически приемлемой неточностью).

Таковы (при первом беглом рассмотрении) общий алгоритм, содержание и итог регрессионного анализа. Далее мы должны заниматься подробностями и формализацией этой очень эффективной информационной технологии.

Ко всему этому необходимо добавить некоторые пояснения.

Во-первых, о характере отображающей регрессию математической модели

Эта модель (уравнение регрессии) описывает статистическую связь между случайными значениями фактора и отклика. С другой стороны, функции y=f(x) и y’= φ(x) описывают функциональную зависимость. Это не противоречие, ибо функции y=f(x) и y’= φ(x) описывают отношения не между случайными величинами X и Y, а между величинами детерминированными (между математическим ожиданием (m_Y) одной случайной величины (Y) и средним значением фактора x_l =X_lСр.

Во вторых. о форме.

Когда таких величин две X и Y,, уравнение регрессии часто (но – не всегда) может быть записано в форме: m_Y = f(x) ≡ β₀ + β₁x . Это – уравнение любой прямой линии, которое (путём правильного подбора констант b₀ ~β₀ и b₁ ~ β₁ при аппроксимации) может быть превращено в соотношение φ(x) ≡ b₀ + b₁ x ~ f(x) , то есть в математическую модель

y’=φ(x) нашей «учебной» системы, где φ(x) ≡ b₀ + b₁ x – экспериментальная ли-нейная функция регрессии случайной величины Y на случайную величину X . Линейная регрессия – это часто встречающаяся «разновидность» регрессии (о разновидностях регрессии мы ещё будем говорить ниже). Существует и имеет смысл аналогичное уравнение регрессии: m_X = ψ(y), где ψ(y) – функция регрессии случайной величины X на случайную величину Y (не f и не φ, а ψ(y) потому, что это – другая, экспериментально выявленная функция). Так учит математическая статистика.

Когда же речь заходит об эксперименте, то в понятии регрессии появляются «дополнительные грани». Важным здесь оказывается тот факт, что здесь слово «регрессия» используется для характеристики реального поведения исследуемой материальной системы, и это (использование) оказывается возможным по трём основаниям:

– множество {x} реально возможных значений уровня воздействующего на систему фактора x и множество {y} реально возможных значений отклика y системы являются не-прерывными нормально распределёнными случайными величинами: {x}≡ X, и {y}≡ Y;

– дисперсионный анализ выявил, что внутри система устроена так, что на поведение системы, которое описывается изменениями отклика (параметра y) системы, влияет уровень воздействующего на неё фактора x (взаимосвязь имеет место);

– выявленная дисперсионным анализом взаимосвязь фактора x и реально возмож- ного отклика y системы не обязательно является функциональной связью

Таким образом, вне математики (при словесном описании происходящих вокруг нас явлений регрессией называют определённое поведение реальной системы (ситуации), «спровоцированное» воздействиями на эту систему. Такое поведение – следствие (обусловленного её внутренней структурой то, есть внутренним устройством системы, и обнаруженного ещё на первом этапе экспериментального исследования системы) влияния определённого фактора на поведение системы. Именно это влияние и проявляется (реализуется) в этих определённых формах поведения. А названы эти формы повеления регрессией по аналогии и потому, что они математически очень хорошо описываются представленными в предыдущей главе понятиями и соотношениями из теории вероятностей (функция регрессии и т. п.).

Далее вернёмся к понятию аппроксимирующей функции, с которым мы позна-комились в конце предыдущего параграфа. Это она (функция) составляет правую часть уравнения, которое становится после проведения регрессионного анализа математической моделью системы. В учебном примере это было уравнение y= φ(x), где известная теперь функция φ(x), хорошо «изображает из себя» оставшуюся неизвестной функцию f(x), фигурировавшую в теоретическом уравнении регрессии m_Y = f(x). Она описывает связь между y и x , о характере которой выше мы уже говорили. По характеру эта связь – может быть статистической.

А форма этой связи выражается (реализуется) в конкретном виде функции f(x). Этот вид и определяет «разновидности» регрессии. Если это – линейная функция, то и регрессию называют линейной, считая линейной и функцию f(x), а линию регрессии – прямой линией регрессии, которая проходит через точки наибольшей плотности корреляционного поля и оказывается осью его симметрии. Общий вид функции, которая описывает линейную регрессию уже был представлен на предыдущем листе.

Если это – нелинейная функция, то и регрессию называют нелинейной, а конкретно либо параболической, либо степенной, либо как-то иначе, точно определяя вид именно той конкретной нелинейной зависимости, которая была выявлена в эксперименте.

При исследовании реальных систем факторов может оказаться более двух. В таких случаях регрессию называют множественной. По характеру она остается статистической, по размерности множественной, по форме либо линейной, либо нелинейной. Нелинейность и здесь всегда имеет определённую форму (квадратичная, кубическая, логарифмическая и т. п.).

В случае двух факторов, считая линейной функцию f(xy), мы должны говорить не о линии регрессии, а о плоскости регрессии, составленной из точек максимальной плотности знакомого нам трёхмерного поля корреляции, которая (плоскость) «рассекает» это поле-«облако» надвое. При нелинейности функции f(xy) вместо плоскости следует представлять себе, что в недрах подобного же пространственного поля корреляции, из точек его максимальной плотности, сформирована криволинейная поверхность регрессии (например, при квадратичной регрессии это будет «параболический мешок»).

В самом общем случае, когда одновременно исследуются k факторов, аппроксими-

рующая функция φ(x₁, x₂, x₃,…, x_k) будет (линейной или нелинейной) функцией k переменных, реальная функция регрессии останется в неопределённом виде (f(x₁,x₂,x₃, …, x_k)), а уравнение регрессии m_Y= f(x₁, x₂, x₃,…, x_k) будет описывать k-мерное «тело», образованное внутри (k +1)-мерного поля корреляции точками его (поля) максимальной плотности. Это «тело» можем быть линейным или нелинейным (в конкретной форме этой нелинейности), а зависит это от конкретной вида функции f (x₁, x₂, x₃,…, x_k), которой удастся (после эксперимента) это «тело» приблизительно описать.

В общем случае (и это мы уже знаем) теоретически регрессия описывается произвольной нелинейной функцией многих переменных m_Y ≡ y = f(x₁, x₂, x₃,…, x_k), при записи которой за откликом сохранено обозначение y, а все k факторов обозначены одним символом x, с индексом, соответствующем условному в данном эксперимента номеру каждого фактора.

Вот так, с первой попытки и на словах, можно ещё раз охарактеризовать объём и содержание понятия регрессии.

Теперь возвратимся к нашему учебному примеру и «добавим» совсем немного новых соображений.

При линейной регрессии f(x₁) – линейная функция, следовательно, можно сразу записать: φ(x) ~ b₀ + b₁ x₁. Это – уравнение любой прямой линии, которое (путём правильного подбора пока – произвольных констант b₀ и b₁ ) превращается в φ(x) ~ f(x), то есть в математическую модель нашей «учебной» системы y’= b₀ + b₁x₁.

Здесь легко заметить, что:

- если на систему нет воздействия (x₁ ≡ 0), то b₀≡ y₀ (спокойный отклик системы, которую «никто не трогает», – постоянная составляющая отклика);

- если на систему действует фактор (x₁ > 0), то с возрастанием уровня воздействия в составе отклика (наряду с постоянной составляющей b₀) появляется «довесок», величина которого пропорциональна константе b₁ (поэтому она, константа b₁, называется коэффициентом линейной регрессии);

- при наличии регрессии прямая линия регрессии по мере роста уровня фактора x₁ будет либо приподниматься (при b₁ >0) над осью уровней, либо наклоняться (при b₁ < 0) к ней.

На практике всё не так просто. И линия регрессии – кривая, и факторов, действующих на систему, часто бывает более двух, и в дополнение к этому, регрессия по каждому фактору может иметь разную форму (по одним линейная, а по другим – нелинейная). Например, в системе с двумя действующими факторами, когда y ≡ m_y= f(x₁,x₂) и зависимость отклика от фактора x₁ может быть квадратичной (нелинейной, когда в каждом сечении трехмерного «облака» откликов при x₂=Const линия регрессии выглядит параболой), а зависимость отклика от фактора x₂ может быть линейной (когда в каждом сечении «облака» x₁= Const линия регрессии выглядит наклонённой к оси уровней фактора x₂ прямой линией). В целом, поверхность регрессии в этом случае – «распахнутый» параболический цилиндр, ось (и все образующие линии) которого наклонены к оси второго фактора (x₂).

Этим мы «закрываем» параграф и заканчиваем разговор о регрессии. Раздел в целом посвящён регрессионному анализу , к рассмотрению которого мы и возвращаемся непосредственно