- •4. Основные методы планирования экстремального
- •Предисловие
- •Введение
- •1. Творчество и научные исследования
- •1.1. Основные понятия и определения
- •1.2. О научном исследовании Понятие научного знания
- •1.3. Методология теоретических и экспериментальных исследований
- •1.3.1. Законы и формы мышления (мышление, понятие, абстракция)
- •1.3.2. Законы и формы мышления (сравнение, индукция и дедукция, анализ и синтез)
- •1.3.3. Законы и формы мышления (обобщение, аналогия, гипотеза)
- •1.3.4. Методология исследований
- •1.3.5. Задачи теоретических исследований
- •1.4. Цель и предмет исследования
- •1.4.1. Цель исследования
- •1.4.2. Предмет исследования
- •1.5. Рабочая гипотеза
- •Примеры аналогий
- •1.6. Особенности исследования непрерывных процессов
- •1.7. Введение в методы исследования
- •1.7.1. Измерения и отметки
- •1.7.2. Точность измерений
- •Предельные ошибки при различных способах измерений
- •1.7.3. Наблюдение
- •1.7.4. Поисковые опыты
- •1.7.5. Основные опыты
- •1.7.6. Определение общего количества опытов
- •2. Погрешности измерений и устройств
- •2.1. Погрешности измерений
- •2.1.1. Измеряемые сигналы
- •2.1.2. Погрешности измерений
- •2.1.3. Случайные погрешности
- •2.1.4. Числовые характеристики
- •2.1.6. Нормальный закон распределения
- •2.1.6. Закон равномерной плотности распределения
- •2.1.7. Композиции законов распределения. Правила суммирования случайных погрешностей
- •2.1.8. Зависимые и независимые случайные величины. Корреляция случайных погрешностей
- •2.1.9. Определение законов распределения случайных величин
- •2.1.10. Числовые характеристики статистического распределения
- •2.1.11. Проверка правдоподобия гипотезы о соответствии статистического закона теоретическому
- •2.1.12. Погрешности косвенного измерения
- •2.1.13. Промахи
- •2.1.14. Систематические погрешности. Оценка неисключенного остатка.
- •2.1.15. Запись результата измерения
- •2.2. Погрешности измерительных устройств при неизменном во времени значении измеряемой величины
- •2.2.1. Структурные схемы измерительных устройств
- •2.2.2. Характеристики преобразователей
- •2.2.3. Погрешности преобразователей. Аддитивная и мультипликативная составляющие
- •2.2.4. Частные погрешности. Причины их возникновения и законы распределения
- •3) Методические погрешности;
- •I. Нормальный закон распределения
- •II. Закон равномерной плотности распределения
- •III. Закон распределения Симпсона
- •IV. Закон распределения арксинуса (арккосинуса)
- •2.2.5. Методические погрешности
- •2.2.6. Суммирование частных погрешностей
- •2.2.7. Нормирование погрешностей измерительных устройств
- •2.3. Погрешности измерительных устройств при изменении значении измеряемой величины во времени
- •2.3.1. Понятие динамической погрешности
- •3. Параметры, факторы, модели объектов исследования
- •3.1. Параметры оптимизации
- •3.1.1. Виды параметров оптимизации
- •3.1.2. Требования к параметру оптимизации
- •3.1.3. Задачи с несколькими выходными параметрами
- •3.2. Обобщенный параметр оптимизации
- •3.2.1. Способы построения обобщенного отклика
- •Натуральные, преобразованные и обобщенные отклики
- •3.3. Факторы
- •3.3.1. Определение фактора
- •3.3.2. Требования, предъявляемые к факторам при планировании эксперимента
- •3.3.3. Требования к совокупности факторов
- •3.4. Выбор модели
- •3.4.1. Модели объектов исследования
- •3.4.2. Шаговый принцип
- •3.4.3. Полиномиальные модели
- •4. Основные методы планирования экстремального эксперимента
- •4.1. Сущность теории планирования эксперимента
- •4.2. Принятие решений перед планированием эксперимента
- •4.3. Корреляционный анализ
- •4.3.1. Понятие о корреляции
- •1) Эксперимент;
- •1) Корреляционный;
- •2) Регрессионный;
- •3) Дисперсионный.
- •4.3.2. Линейная корреляция
- •Общая схема расчетов коэффициента корреляции
- •Корреляционная таблица для х, у
- •Определение данных для вычисления σх и σу
- •Корреляционная таблица для х и z
- •Определение данных для вычислений
- •4.3.3. Нелинейная корреляция
- •4.3.4. Множественная линейная корреляция
- •Корреляционная таблица для у, z
- •4.3.5 Корреляционные (регрессионные) уравнения
- •4.3.6. Ранговая корреляция
- •4.4. Дисперсионный анализ
- •4.4.1. Однофакторный дисперсионный анализ.
- •4.5. Регрессионный анализ
- •4.5.1. Метод наименьших квадратов (мнк).
- •Расчетная таблица для вычислений коэффициентов регрессии
- •Расчет остаточной суммы квадратов
- •Условия и результаты опытов
- •4.5.2. Статистический анализ уравнения регрессии.
- •Значения t-критерия Стьюдента при 5%-ном уровне значимости
- •4.5.3. Матричный подход к регрессионному анализу
- •4.5.3.1. Метод наименьших квадратов для одного фактора
- •Условия и результаты опытов
- •4.5.3.2. Некоторые операции над матрицами
- •4.5.3.6. Критерии оптимальности планов
- •4.5.4. Построение регрессионных моделей
- •4.5.4.1. Выбор модели.
- •4.5.4.2. Эксперимент.
- •4.5.4.3. Вычисление оценок коэффициентов модели.
- •4.5.4.4. Проверка модели на адекватность.
- •4.5.4.5.Упрощение модели.
- •4.5.4.6. Точность регрессионной модели.
- •Приложения
- •Список литературы
4.5.1. Метод наименьших квадратов (мнк).
Статистики разработали много разнообразных методов обработки результатов экспериментов. Но наибольшее распространение получил
метод наименьших квадратов, который был разработан более 100 лет назад Лежандром и Гауссом. Разберемся в этом методе.
Пусть имеется выборка эксперимента объемом N. Задан некоторый класс функций f(x) с числом связей l, равным числу коэффициентов, которые необходимо определить. Требуется найти уравнение регрессии.
Пояснение. Наилучшее уравнение регрессии дает та функция из рассматриваемого класса, для которой сумма квадратов
(4.80)
имеет наименьшее значение.
Если
(4.81)
дифференцируема и требуется найти
(4.82)
то необходимым условием минимума S является выполнение равенств
(4.83)
или
(4.84)
Система (4.84) состоит из уравнений, число которых равно числу неизвестных коэффициентов b0, b1, b2, ... и называется системой нормальных уравнений.
Выбор полинома f(xu, b0, b1, ...) зависит от имеющейся у исследователя априорной информации и является в значительной степени искусством.
Предположим, что полином (4.81) имеет вид
(4.85)
Это хорошо известное уравнение прямой линии.
Требуется найти коэффициенты b0 и b1 (в данном случае число связей l=2).
В целом регрессионный анализ не обязательно рассчитан на планирование эксперимента, хотя использование планирования, как будет показано в дальнейших алгоритмах, значительно расширяет его возможности. Здесь план эксперимента не используется. Выборка N получается пассивным наблюдением за объектом, хотя наблюдение и ведется по плану.
Расчет коэффициентов регрессии. Если бы все экспериментальные точки лежали строго на прямой линии, то для каждой из них было бы справедливо равенство
где i=l, 2, . . . , N — номер опыта. Тогда не было бы никакой проблемы. На практике это равенство нарушается и вместо него приходится писать
где ξi — разность между экспериментальным и вычисленным по уравнению регрессии значениями у в i-й экспериментальной точке. Эту величину иногда называют невязкой.
Действительно, невязка возникает по двум причинам: из-за ошибки эксперимента и из-за непригодности модели. Причем эти причины смешаны и мы не можем, не получив дополнительной информации, сказать, какая из них преобладает.
Можно постулировать, что модель пригодна. Тогда невязка будет порождаться только ошибкой опыта. (Еще можно, конечно, постулировать, что ошибка опыта равна нулю. Тогда невязка будет связана только с пригодностью модели, и пригодной будет такая модель, для которой все невязки равны нулю.)
Обычно оценивают независимо ошибку опыта и проверяют пригодность модели.
Мы хотим найти такие коэффициенты регрессии, при которых невязки будут минимальны. Это требование можно записать по-разному. В зависимости от этого мы будем получать разные оценки коэффициентов. Приведем одну из возможных записей
которая приводит к методу наименьших квадратов.
Возможен и метод наименьших кубов
так как условие, которое мы выбираем, произвольно. Однако этот метод хуже МНК, так как мы будем получать оценки коэффициентов со значительно меньшей точностью. Да и в вычислительном отношении этот путь сложнее.
Существует и метод, в котором минимизируется сумма модулей (абсолютных величин) невязок. Но этот путь связан с дополнительными вычислительными трудностями. Условие МНК — это удачный компромисс.
Существуют другие подходы. Можно, например, минимизировать модуль максимальной невязки. Это записывается так:
Предложений можно сделать довольно много, но мы не будем более на них останавливаться и перейдем непосредственно к МНК.
Когда мы ставим эксперимент, то обычно стремимся провести больше (во всяком случае не меньше) опытов, чем число неизвестных коэффициентов. Поэтому система линейных уравнений
оказывается переопределенной и часто противоречивой (т. е. она может иметь бесконечно много решений или может не иметь решений). Переопределенность возникает, когда число уравнений больше числа неизвестных; противоречивость—когда некоторые из уравнений несовместимы друг с другом.
Только если все экспериментальные точки лежат на прямой, то система становится определенной и имеет единственное решение.
МНК обладает тем замечательным свойством, что он делает определенной любую произвольную систему уравнений. Он делает число уравнений равным числу неизвестных коэффициентов.
Наше уравнение регрессии имеет вид
В нем два неизвестных коэффициента. Значит, применяя МНК, мы получим два уравнения.
Выше мы писали
Это соотношение можно записать в другом виде
Из курса математики известно, что минимум некоторой функции, если он существует, достигается при одновременном равенстве нулю частных производных по всем неизвестным, т. е.
Запишем наши уравнения для определения коэффициентов. Они выглядят так :
Для вычислений раскроем скобки и проведем простые преобразования (для этого воспользуемся выражением (4.84), которые дают
Окончательные формулы для вычисления коэффициентов регрессии, которые удобно находить с помощью определителей, имеют вид
(4.86)
Результаты эксперимента представляются следующей матрицей (табл. 4.13).
Таблица 4.13
