2. Принцип оптимальности и уравнения Беллмана

Принцип оптимальности. Каково бы ни было состояние s системы в резуль­тате какого-либо числа шагов, на ближайшем шаге нужно выбирать управление так, чтобы оно в совокупности с оптимальным управле­нием на всех последующих шагах приводило к оптимальному выигры­шу на всех оставшихся шагах, включая данный. Основное требование, при котором принцип верен - процесс управления должен быть без обратной связи, т.е. управление на данном шаге не должно ока­зывать влияния на предшествующие шаги.

Таким образом, решение на каж­дом шаге оказывается наилучшим с точки зрения управления в целом.

Уравнения Беллмана.

Нахождение оптимального решения управляемого процесса можно произвести на основе рекуррентных соотношений Беллмана. Пусть - показатель эффективности k – ого шага при всевозможных управлениях . Выделяют обратную и прямую схемы Беллмана.

Схема нахождения оптимального решения по обратной схеме.

На каждом шаге любого состояния системы решение нужно выбирать "с оглядкой", так как этот выбор влияет на по­следующее состояние и дальнейший процесс управления, зави­сящий от . Это следует из принципа оптимальности.

Но есть один шаг, последний, который можно для любого со­стояния планировать локально оптимально, исходя только из соображений этого шага.

Рассмотрим n-й шаг: - состояние системы к началу n-го шага, - конечное состояние, - управление на n-м шаге, - целевая функция (выигрыш) n-го шага.

Показатель эффективности n – ого шага

Агрегированный показатель эффективности (n-1) – ого шага .

Агрегированный показатель эффективности первого шага .

В результате будут найдены следующие последовательности значений:

Схема нахождения оптимального решения по прямой схеме.

Показатель эффективности первого шага

Агрегированный показатель эффективности второго шага .

Агрегированный показатель эффективности k – ого шага .

Агрегированный показатель эффективности всего процесса управления (n-ого шага)

Таким образом, в результате решения последовательно определяются следующие значения и :

3. Общая схема применения метода дп

Построение модели ДП и применение метода ДП решения сводится к следующим моментам:

1. Выбирают способ деления процесса управления на шаги.

2. Определяют параметры состояния и переменные управления на каждом шаге.

3. Записывают уравнения состояний.

4. Вводят целевые функции k-го шага и суммарную целевую функцию.

5. Вводят в рассмотрение условные максимумы (минимумы) и условное оптимальное управление на k-м шаге: (в случае использования обратной схемы Беллмана);

6. Записывают основные для вычислительной схемы ДП урав­нения Беллмана для и .

7. Решают последовательно уравнения Беллмана (условная оп­тимизация) и получают две последовательности функций: и .

8. После выполнения условной оптимизации получают опти­мальное решение для конкретного начального состояния s₀:

1. и по цепочке

2. оптимальное управление: .