4.5.4.3. Вычисление оценок коэффициентов модели.

В РА расчет неизвестных коэффициентов модели (4.88) осуществляют по методу наименьших квадратов (МНК). Его суть заключает­ся в том, что, как мы знаем, коэффициенты определяют из условия миниму­ма суммы квадратов отклонений точек модели от экспери­ментально наблюдавшихся откликов:

Учитывая (4.88), сумма Q_ост может быть записана как

(4.89)

Таким образом, сумму Q_ост можно рассматривать, как функцию от переменных b₀, b_1, .... b_п, поскольку остальные входящие в нее величины есть числа, полученные из экспе­римента. Для того чтобы Q_0CT была минимальна, необхо­димо выполнить условие

(4.90)

Выражение (4.90) представляет собой систему из (n+1) уравнений для определения (п+1) неизвестных коэффициентов b₀, b₁, ..., b_п. Вследствие линейности модели (4.88) относительно коэффициентов b_j система (4.90) линейна. Ее решение удобно вести в матричном виде. Для этого вводят вектор-столбец коэффициентов:

и вектор-столбец откликов модели

Тогда

С использованием введенных обозначении сумма квадратов отклонений Q_ост может быть записана так:

где Т — знак транспонирования.

Система (4.90) в матричной форме приобретает вид матрич­ного уравнения:

Х^Т ХВ = Х^ТY,

откуда искомый вектор коэффициентов

(4.91)

где (Х^Т X)^-1 — матрица, обратная матрице Х^ТX.

Матрицу Х^Т X называют информационной. Легко про­верить, что это квадратная матрица порядка (п + 1), сим­метричная относительно своей главной диагонали. Произведение Х^TY представляет собой вектор-столбец, содержащий (п + 1) строк.

Если матрица наблюдений X содержит большое число повторяющихся строк, т. е. опыты осуществляют с дублиро­ванием, то целесообразно изменить схему вычисления векто­ра коэффициентов В следующим образом.

Пусть матрица X содержит N₀ различных строк (N₀<N). Исключим из матрицы X повторяющиеся строки и оставшуюся матрицу Х₀ будем рассматривать как матрицу различных опытов, каж­дый из которых производят с числом повторов p_i (i = 1, ......, N₀). Средний отклик в i-м опыте

Тогда всей совокупности наблюдений можно сопоставить: матрицу различных опытов Х₀, которая содержит N₀ различных строк, соответствующий ей вектор-столбец Y₀ средних от­кликов и матрицу дублирования Р:

Можно показать, что в этом случае

(4.92)

Результаты вычислений по формулам (4.91) и (4.92) совпадают. Различие состоит в схеме вычислений. При ис­пользовании (4.91) не проводят дифференциацию между раз­личными и повторяющимися опытами и поэтому пользуют­ся полной матрицей наблюдений размером N × (п + 1). Применяя (4.92), за счет дифференциации между различными повторяющимися опытами удается добиться большей компактности при вычислениях, что важно при использова­нии малых ЭВМ. Особенно нагляден выигрыш в случае равномерного дублирования, когда р₁=р₂=...=р_No=р. В этом случае матрица дублирования Р в формуле (4.92) сокращается:

B = (X^T₀X₀)^-1 X^T₀Y₀ (4.93)

т. е. массив числовой информации уменьшается в р раз. Согласно (4.91) и (4.92), не при всякой матрице наблю­дений определение коэффициентов регрессионной модели возможно. Действительно, для вычисления вектора В по (4.91) необходимо, чтобы матрица Х^TX была обратима, т. е. существовала бы обратная матрица (Х^T X)^-1. Аналогично, для расчета вектора коэффициентов В по (4.92) нужно, чтобы была обратима матрица (X^T₀РХ₀).

Можно показать, что для существования искомого реше­ния необходимо и достаточно, чтобы была обратима матри­ца X^T₀ Х₀, т. е. успех или неуспех в построении регрессион­ной модели зависит от того, насколько удачно или неудач­но построена матрица различных опытов Х₀. Известно, что матрица обратима, если ее определитель не равен нулю. Отсюда получаем необходимое и достаточное условие для построения регрессионной модели:

| X^T₀ Х₀| ≠ 0. (4.93)

Если | X^T₀ Х₀| = 0, то задача нахождения коэффициен­тов не имеет решения. Это, в частности, имеет место, когда N₀ < п + 1, т. е. число различных опытов меньше числа искомых коэффициентов. Важно отметить, что дублирова­ние опытов в этом случае не имеет значения.

Уточним, какие изменения вносит в описанную схему вычисления коэффициентов модели активный эксперимент (АЭ). С вычислительной точки зрения он сводится к некоторым ограничениям на матрицу наблюдений X, которую на­зывают матрицей планирования. Наиболее существенным из этих ограничений является ортогональность плана. Для ортогонального плана матрица X^TХ имеет диагональный вид и ее обращение не сложно:

Обычно используют ортонормированные планы, когда

В этом случае коэффициенты вычисляют по формуле

Если АЭ осуществляют с равномерным дублированием, то это не нарушает ортогональности плана и коэффициенты модели рассчитывают по аналогичной формуле

где — средний отклик в i -м опыте.

Таким образом, переход к АЭ существенно упрощает процесс вычисления коэффициентов модели. Кроме того, при АЭ получают диагональную матрицу X^Т X, т. е. наи­более далекую от вырождения (напомним, что вырожденной называют матрицу, определитель которой равен нулю).

Планированию эксперимента должно быть уделено серьезное внимание, так как при неудач­ном планировании матрица X^Т X может быть плохо обусловлена (плохо обусловленной называют матрицу, определитель которой очень мал по сравнению с другими значениями). Плохая обусловленность матрицы X^Т X приводит к тому, что обратная матрица (X^Т X )^-1 состоит из больших чисел, так как ее члены обратно пропорциональны определителю исходной матрицы. Поскольку диспер­сии оценок коэффициентов b_j модели пропорциональны диагональным членам матрицы (X^Т X)^-1 получают модель, в которой численные значения коэффициентов имеют боль­шую неопределенность. При практическом использовании такая модель имеет слишком низкую точность предска­зания.

Рассмотрим модель

Допустим, что для нахождения параметров модели поставили ряд повтор­ных опытов в точках z ₁ и z₂ (рис. 4.11).

Рис.4.11

При таком планировании не удается построить требуе­мую модель, так как располагают данными двух различных опытов, тогда как выбранная модель содержит три неиз­вестных коэффициента — b₀, b₁ и b₂. Тщетность усилий объясняется тем, что пытаются провести параболу через две точки, когда известно, что таких парабол существует бес­численное множество (например, кривые 1 —3). В данном случае матрица различных опытов Х₀ содержит всего две строки, следовательно, при любом числе повторов матрица Х^T Х₀ вырождена.

Очевидно, что необходимо поставить хотя бы один опыт в точке, отличной от z₁ и z₂. Допустим, что этот опыт ( или серия опытов) проведен в точке z₃. Задача нахождения параметров модели формально стала разрешимой, так как располагают тремя различными опытами. Однако условия второго и третьего опытов различаются незначительно, по­этому следует ожидать большой неопределенности в ре­зультатах вычисления коэффициентов модели. Действительно, если кривая 3 не годится в качестве модели, то кривые 1 и 2 по-прежнему хорошо согласуются с экспери­ментальными данными, тогда как в интервале между точ­ками z₁ и z₃ эти кривые имеют различный вид. Этой геоме­трически понятной ситуации алгебраически соответствует плохая обусловленность матрицы Х^T Х_о.

Для того чтобы матрица Х^T Х₀ была хорошо обусловлен­ной, нужно выбрать точку z₃ строго посередине между z₁ и z₂. Целесообразность такого выбора легко понять из гео­метрических соображений.

В данном примере рассмотрена квадратичная модель. Очевидно, что в случае линейной модели

проведение эксперимента в точках z₁, z₂, z₃ не вызывает трудностей, с которыми пришлось столкнуться в случае квадратичной модели. Следовательно, судить о том, хорош или плох план проведения эксперимента, не имеет смысла, если не имеется в виду конкретная модель, для построения которой используют результаты этого эксперимента.

Проанализируем процесс определения коэффициентов регрессионной модели.

Любое вычислительное устройство с ограниченным объемом памяти работает с конечной по­грешностью, обусловленной округлением промежуточных результатов. Эта погрешность может быть особенно большой при обработке результатов пассивного эксперимента, где часто приходится сталкиваться с плохо обусловленной ин­формационной матрицей Х^T X. Если учесть, что для решения задач оптимизации чаще всего используют малые ЭВМ, то уменьшение погрешностей, связанных с округлением, является важной задачей. Для уменьшения погрешностей целесообразно центрировать и нормировать данные эксперимента. Для этого в матрице наблюдений X и векторе откликов Y переходят от абсолютных зна­чений величин к их отклонениям от средних значенийв эксперименте:

Центрирование данных означает переход к модели

(4.95)

которая не содержит коэффициента b₀, а следовательно, 1 столбец фиктивных переменных x_i0 может быть исключен. Центрированные матрицы Х_ц, Y_ц используют для вычисления коэффициентов модели (4.95) по формуле (4.92) или (4.93).

Центрирование кроме уменьшения размерности массива данных (информационная матрица Х^Т_{ц ,} Y_ц имеет порядок п) уменьшает влияние ошибок округления, так как в центрированной модели фигурируют не сами переменные х, у, а их отклонения от средних значений. Например, в экспериментах по диффузионному легированию температуру ре­актора изменяют в пределах ± 100 °С около средней темпе­ратуры, которая имеет порядок 1000 °С; центрирование в данном случае облегчает вычисления.

Процесс вычисления облегчается и при переходе к нор­мированным переменным. Нормирование означает переход к модели

(4.96)

где — интервалы нормирования.

Нормирование приводит к тому, что все элементы ма­триц становятся одного порядка, что минимизирует влия­ние ошибок округления на результат при операциях над матрицами.