1.Принцип оптимальности.

Рассмотрим задачу об оптимальном стабилизирующем управлении.

Пусть дан объект управления, описываемый уравнениями

(1)

Требуется найти закон управления

(2)

чтобы на движениях системы (1), (2), возбужденных произвольными начальными отклонениями, минимизировался функционал

(3)

При этом на управления (2) наложены ограничения uU. Для определенности часто будем полагать, что

(4)

где - заданные числа.

Отметим, что эта задача является вариационной задачей со свободным правым концом и фиксированным t₁.

Для простоты изложения принципа оптимальности ограничимся частным случаем этой задачи, когда n=2, a m=1. В этом случае уравнения (1) и (2) примут вид:

(1)

(2)

а функционал (3) запишется, если опустить для простоты t в φ₀, как

(3)

Переходя к принципу оптимальности, допустим, что оптимальное управление (2) найдено. Этому управлению соответствует оптимальная траектория x₁(t), x₂(t), которую можно вычислить, подставляя в уравнения (1) функцию (2) и интегрируя (1) при некотором начальном условии x₁(t₀), x₂(t₀). Эта траектория приведена на рис.1.

Отметим какую-либо точку x на оптимальной траектории и назовем участок между точкой x⁽⁰⁾={x₁(t₀), x₂(t₀)} и точкой x={x₁(t), x₂(t)} первым (траектория 1), а участок между точками x={x₁(t), x₂(t)} и x⁽¹⁾={x₁(t₁), x₂(t₁)} назовем вторым участком траектории (траектория 2).

Принцип оптимальности: независимо от того, каким путем система (1) достигла в момент времени t точки {x₁(t), x₂(t)}, её оптимальным последующим движением будет траектория 2.

Другими словами, второй участок оптимальной траектории является оптимальной траекторией. Это означает, что, если система, начав движение из точки x⁽⁰⁾, оказалась в момент времени t в точке x, то оптимальное движение из этой точки будет совпадать с траекторией 2.

Обоснование принципа почти очевидно. Действительно, пусть движение из точки x продолжается не по траектории 2, а по траектории 2 и при этом движении функционал

принимает меньшее значение, чем на траектории 2. Тогда значение функционала (3) на траектории 1 - 2 будет меньшим, чем на траектории 1 – 2. Это противоречит предположению об оптимальности u.

2.Функциональное уравнение метода динамического программирования.

Несмотря на почти очевидный, эвристический характер принципа оптимальности, он имеет своим следствием далеко не очевидное функциональное уравнение. Переходя к его выводу, введем обозначения для значений функционала на оптимальных траекториях:

Представим (полагая t=t₀+;  - достаточно малое число) функционал (3) в форме

.

Допустим, что оптимальное управление на втором участке известно. Значение, которое принимает функционал оптимизации при движении по этому участку, определяется выражением [x₁(t)x₂(t)]. На основе принципа оптимальности можно записать функциональное уравнение

.

Учитывая малость , получим

. (5)

Минимизируя выражение в фигурных скобках по u(t₀), получим оптимальное управление на первом участке. Однако в этом выражении функция  неизвестна. В связи с этим преобразуем (5).

Используя разложение в ряд Тейлора, получим

где

Подставляя эти выражения в (5), получим

Сокращая [x₁(t₀), x₂(t₀), t₀] в обеих частях равенства и поделив результат на , получим при 0

.

Учитывая, что полученный результат справедлив для любых x₁(t₀), x₂(t₀), t₀, опустим индекс «0» и запишем

. (6)

В общем случае, когда n>2, m>1, это уравнение имеет вид

. (7)

Если известно, что оптимальные управления находятся внутри множества U, либо если ограничения подобного рода вообще отсутствуют, то уравнение (7) можно представить как совокупность уравнений в частных производных:

(8)

(9)

Таким образом, для решения задачи об оптимальной стабилизации необходимо решить, при краевых условиях

(10)

специфическое уравнение в частных производных (7) либо систему из m+1 уравнений в частных производных (8), (9). В результате решения этих уравнений получим искомые оптимальные управления , где , и функцию , которая при x_i=x_i0, t=t₀ является наименьшим значением функционала оптимизации

(11)

если выполняются краевые условия (10). Действительно, пусть оптимальные управления определены. Тогда, вдоль оптимальных траекторий и управлений, управление (7) примет вид

или

. (12)

Очевидно, что это уравнение можно записать в более компактной форме

(12)

Интегрируя его в пределах от t₀ до t₁, заключаем, что

. (13)

Учитывая краевые условия (10), получим (11).

При t на оптимальное управление накладывается дополнительное требование асимптотической устойчивости. Если функции φ₀ > 0 и [x₁,…,x_n] > 0 для всех x₁,…,x_n, то система (1), (2) асимптотически устойчива.

Действительно, уравнение (12) является уравнением второго метода А.М. Ляпунова и поэтому для асимптотической устойчивости оптимальной системы достаточно положительно-определенной функции (x₁,…,x_n), полная производная которой в силу дифференциальных уравнений (1) отрицательно-определенна.

Таким образом, если и t₁, то функция в уравнениях метода динамического программирования оказывается функцией Ляпунова, поэтому этот метод иногда называют методом Ляпунова – Беллмана. Заметим также, что для асимптотически устойчивой оптимальной системы краевое условие (10) выполняется автоматически.

Отметим в заключение, что если функционал оптимизации (3) имеет более общий вид

, (14)

то краевое условие (10) записывается как

. (15)