3. Уравнение Эйлера

Рассмотри задачу найти (1) при заданном значении и свободно изменяющихся

С другой стороны часто можно переформулировать задачу динамического программирования в виде (1)

Если положить получим задачу с U=R

Предположим что уравнение при любом выборе и имеет единственное решение U

Определим f( )=f(t, x_t, )= при

t<T и .

Иными словами,

Пусть , … , - оптимальное решение задачи (1). Для любого заданного t производная выражения (1) по равна 0. Положим , тогда , … , удовлетворяют уравнению Эйлера:

(2)

номер переменной функции F, по которой взята производная

t=0,1,…,T

Это разностное уравнение второго порядка, подобное уравнению Эйлера из вариационного исчисления.

При t = T уравнение (2) переходит в , из которого находим

Эта величина подставляется в (2) при t = T-1 и получаем и т.д., так не получим , а задано

Рассмотрим задачу

найти

,

,

Положим, для t=0,1,2

при t=0,1,2

Поэтому уравнение Эйлера при t=0,1 принимает вид

При t=2 уравнение Эйлера имеет вид

,

так как

Построим

,

.

не участвует в построении уравнения Эйлера: .

При

и

,

.

Подставим в , учтем, что ,

,

;

Тогда , .

Свести к задаче динамического программирования можно так:

, ;

,

,

.

Infinite Horizon

Неограниченный период.

Проблема ставится так:

найти (1)

при условии, что - заданное число,

…

.

, – допустимая пара последовательностей, если - задано, , определяется уравнением . При этом , g не зависят от переменной t явно. Таким образом (1) называется автономным рядом.

f удовлетворяет условиям ограниченности для всех x,u, u . Поэтому ряд в (1) сходится. Сравним с прогрессией.

Пусть π̅ = (u_s , u_s+1 , …) – последовательность управлений, гдеu_s+kϵU, k = 0, 1, … ;x_t+1 = g(x_t , u_t), t = s, s+1, … ; x_s = x.

Тогда польза, полученная за период t = s, s+1, … равна

Положим, что

и максимумы взяты по всем последовательностям π̅.

Таким образом, – максимальный успех, который можно получить от t=s до +∞.

При условии, что в момент t=s система находится в состоянии x, называется оптимальной целевой функцией для задачи (1).

Имеем

Максимизируя получаем одно и то же значение в обоих случаях, поскольку будущее (+∞) выглядит вполне одинаково в момент 0 и в момент s.

Из (5) следует:

Положим, по определению

Из (6) следует, что если мы знаем , то мы знаем для всех s.

Теорема. Целевая функция в (4) для задачи (1) удовлетворяет уравнению Беллмана.

J (x) = max [f(x,u)+ßJ(g(x,u))] (8)

uU

Грубое рассуждение напоминает рассуждения для конечного периода Т. Предположим, что мы при t=0 находимся в состоянии х. Выбрав управление u, получаем βо f(x,u)=f(x,u) и во время t=1 попадаем в x₁=g(x,u).

Выбор оптимальной последовательности управлений при t=1 и так далее даёт прибавку в последующий период J₁(g(x,u))=βJ(g(x,u)). Следовательно, наилучший выбор при t=0, тот что максимизирует сумму f(x,u) +βJ(g(x,u)), поэтому максимум этой суммы равен J(x)

(8) – функциональное уравнение, можно доказать, что при условиях ограниченности (2), и полагая, что максимум в правой части (8) существует, это уравнение имеет единственное решение которое автоматически является оптимальным уравнением u(x), максимизирующее правую часть (8) — оптимальное и оно не зависит от t. Обычно решить уравнение (8) бывает непросто.

Пусть мы ищем решение задачи.

Найти

∞

Max∑ β^t(x_t, v_t)^{1- ɣ} (1)

x_t+1=a(1-v₁)x_t, t=0,1....

V_t(0,1)

a>0, x₀>0, β (0,1), ɣ (0,1)

β a^{1- ɣ} <1

, уравнение (8) имеет вид

(ii)

Задача напоминает задачу, в которой целевая функция была пропорциональна . Предположим, что и в этой похожей задаче при некоторой постоянной k.

Или, сокращая на > 0:

(iii)

Положим .

Тогда

или

или , где

(IV)

Так как ϕ’’(ϑ)<0, и так как ϑϵ(0;1).

Таким образом, в предположении, что

найдено максимизирующее управление (iv).

При этом из (iii)следует, что

,

Так как , получаем

Или

Откуда

Тогда (iv):

В итоге получаем:

В этом примере, однако

И условия ограниченности не выполнены.

Поэтому следует слегка изменить задачу, положив

Тогда

В новой задаче целевая функция равна

^

Где , откуда 0< β<1.

Легко видеть, что удовлетворяет уравнению Беллмана для новой задачи (с тем же оптимальным значением ).

Условие ограниченности выполнено, т.к.

Таким образом в (IV) оптимальное.

, соответствующее x_z удовлетворяет уравнению

x_t+1 = a(1-_t) x_t = a(1-)x_=a x_t

При условии решением является x_{t =} x(a )^t

Значение функции

И мы проверим, что значение целевой функции есть в такой в (V)

Важный вопрос, а существует ли искомые максимумы?

Если выполнены (2), ФУНКЦИИ f,g непрерывны и U компактна, то максимумы в (4) и(8) существует. Кроме этого, (8) имеет единственное решение, если использовать теорему о сжимающем отображении.