- •Основные понятия.
- •1. Безусловная оптимизация (многомерные функции)
- •1.1 Методы первого порядка (градиентные методы)
- •1.1.1. Градиентный метод с постоянным шагом
- •1.1.2. Выпуклые функции и множества
- •Теорема
- •Определение.
- •Без доказательства
- •2.Теорема:
- •1.2. Градиентные методы (продолжение)
- •1.2.1. Градиентный метод с дроблением шага.
- •1.2.2. Метод наискорейшего спуска.
- •Без доказательства
- •1.2.3. Масштабирование
- •1.3. Метод Ньютона.
- •1.4. Многошаговые ( двухшаговые ) методы.
- •1.3.1. Метод тяжелого шарика
- •1.3.2. Метод сопряженных градиентов
- •1.3.3. Модификация Полака-Ривьера
- •1.5. Квазиньютоновские методы
- •1.6. Методы нулевого порядка (методы прямого поиска)
- •1.6.1. Методы аппроксимации
- •Метод покоординатного спуска
- •1.6.3. Метод симплексов (Нелдера-Мида)
- •1.6.4. Метод Пауэлла (сопряженных направлений)
- •1.7. Методы прямого поиска в задачах одномерной минимизации.
- •1.7.1. Метод квадратичной интерполяции.
- •1.7.2. Метод дихотомии ( половинного деления.).
- •1.7.3. Метод «золотого» сечения.
- •1.7.4. Метод Фибоначчи.
- •2. Условная минимизация.
- •2.1 Задача нелинейного программирования.
- •2.1.1. Ограничения типа равенства.
- •2.1.2. Ограничения типа неравенств.
- •2.2. Задача выпуклого программирования
- •2.3. Методы условной минимизации.
- •2.3.1. Метод проекции градиента.
- •2.3.2. Метод условного градиента.
- •2.3.3. Метод модифицированной функции Лагранжа.
- •2.3.4. Метод штрафных функций.
- •2.4. Двойственность звп
- •2.4.1. Двойственность злп
- •3. Линейное программирование
- •3.1. Основные понятия
- •3.2. Геометрическая интерпретация злп.
- •3.3. Условие оптимальности для злп.
- •3.4. Базис и базисное решение.
- •3.5. Симплекс - метод решения злп.
- •3.6 Транспортная задача
- •3.5.1. Построение первоначального опорного плана.
- •3.5.2. Построение оптимального плана. Метод потенциалов.
- •4. Решение переборных задач.
- •4.1. Метод ветвей и границ.
- •4.1.1. Задача о коммивояжере.
- •4.2. Динамическое программирование.
- •4.2.1. Абстрактная схема.
- •4.2.2. Вывод уравнения Беллмана.
- •4.2.3. Методика применения функции Беллмана для решения исходной задачи.
- •4.2.4. Примеры задач динамического программирования
- •5. Вариационное исчисление (ви)
- •5.1. Уравнение Эйлера-Лагранжа.
- •5.1.1. Частные случаи уравнения Эйлера-Лагранжа.
- •5.1.2. Задача о брахистохроне.
- •5.2. Вариационные задачи на условный экстремум.
- •5.2.1. Модельные задачи на условный экстремум.
- •6. Принцип максимума Понтрягина ( на примере задачи оптимального управления ).
- •6.1. Принцип максимума в задаче о быстродействии.
- •Список литературы
1.7.2. Метод дихотомии ( половинного деления.).
Если мы вычислим значения f в двух точках x1,x2 , то станет возможным исключение из рассмотрения некоторого множества точек, на котором гарантировано нет минимума, то есть имея измерения в двух точках можем сократить интервал поиска.
Как лучше выбирать точки, чтобы процесс быстрее сходился?
В
методе дихотомии предлагается
(отрезок
[0,1] ).
Остается
один из интервалов:
.
Выберем 3-й и 4-й эксперимент на-пару
в середине оставшегося интервала. После
n
(n-четно)
экспериментов min
функции лежит в интервале
.
Здесь каждый раз два эксперимента, но можно один, а в качестве другого брать один из предыдущих.
1.7.3. Метод «золотого» сечения.
Интервал
[a,b],
вычислить функцию
в
точках
.
На интервале [a,b] расположен минимум функции.
,
где F1
и F2
некоторые числа 0<F1<1,
0<F2<1.
Анализируем
перегибы функции внутри интервала, и
также, как раньше, заменяем отрезок [a,
b]
на
или
.
Идея метода в том, чтобы после замены,
необходимо было вычислить только одну
точку при гарантированном уменьшении
длины отрезка, т.е.
,
так как
(после
замены отрезок уменьшится в 1/ F2
=
В
новом отрезке должно быть(по правилу
«золотого» сечения):
так
как
![]()
Тогда
так как
,
,
то
.
Таким образом, уменьшение интервала в 1/ F2 = раз достигается с помощью вычисления функции в одной новой точке (см. процедуру выполнения). После n экспериментов имеем интервал неопределенности:
.
В пересчете на одно измерение этот метод лучше дихотомии.
Процедура выполнения:
Рассмотрим
[a,
b],
вычислить функцию
в
точках
.
В выражениях 1) и 2) появилась только одна новая точка. И так далее, пока длина отрезка [a, b] не станет меньше заданной величины.
1.7.4. Метод Фибоначчи.
Пусть у нас существует ограничение на количество вычисляемых точек N. Как выбирать средние точки , чтобы максимально уменьшить интервал, внутри которого лежит точка min?
![]()
,
к- номер итерации.
Fj - числа Фибоначчи, обладающие свойством.
Fk+2 = Fk+1+ Fk
Два первых: 1;1
Как метод Фибоначчи связан с методом «золотого» сечения?
.
То есть асимптотически один метод переходит в другой. Окончательный интервал в методе «золотого» сечения всего на 17% больше чем в методе Фибоначчи. Если количество измерений не задано, то используется метод «золотого» сечения, если задано - то Фибоначчи.
2. Условная минимизация.
2.1 Задача нелинейного программирования.
Решается задача минимизации функции f на множестве X, заданном набором ограничений g.
Множество
-
называется допустимым множеством.
gi- некоторые гладкие функции.
2.1.1. Ограничения типа равенства.
Рассмотрим
следующий пример:
найти
.
Пусть g разрешима относительно x1, то есть g(x1,x2)=0 x1= (x2), x1,x2.
Тогда
![]()
Функции
f,
- дифференцируемы. Запишем условие
экстремальности:
.
Так как![]()
![]()
Обозначим

Тогда:
,
из определения
Таким образом, в точке минимума выполняются эти соотношения. Получить эти необходимые условия можно, используя функцию Лагранжа:
F(x,)=f+g.
Тогда необходимое условие min функции f(x1,x2) при наличии ограничений может быть записано следующим образом:

Таким образом, задача условной минимизации сведена к задаче безусловной минимизации. Для решения последней задачи можно использовать ранее описанные методы.
