10.2 Складання математичної моделі динамічного програмування

Додатково вводяться наступні умовні позначки:

– стан процесу;

– безліч можливих станів процесу перед і-м кроком;

– виграш із і-го кроку до кінця процесу, .

Можна визначити наступні основні етапи складання математичної моделі задачі динамічного програмування [1].

– Розбивка задачі на кроки (етапи). Крок не повинен бути занадто дрібним, щоб не проводити зайвих розрахунків і не повинен бути занадто великим, ускладнюючий процес крокової оптимізації.

– Вибір змінних, що характеризують стан моделюємого процесу перед кожним кроком, і виявлення обмежень, що накладаються на них. У якості таких змінних варто брати фактори, що представляють інтерес для дослідника, наприклад річний прибуток при плануванні діяльності підприємства.

– Визначення безлічі крокових управлінь , й накладених на них обмежень, тобто області припустимих управлінь .

– Визначення виграшу

(10.10)

який принесе на і-му кроці управління , якщо система перед цим перебувала в стані .

– Визначення стану , у яке переходить система зі стану під впливом керування ,

(10.11)

де – функція переходу на і-му кроці зі стану у стан .

– Складання управління, що визначає умовний оптимальний виграш на останньому кроці, для стану моделюємого процесу

(10.12)

– Складання основного функціонального рівняння динамічного програмування, що визначає умовний оптимальний виграш для даного стану з і-го кроку й до кінця процесу через уже відомий умовний оптимальний виграш із (і+1)-го кроку й до кінця:

(10.13)

У рівнянні (10.13) у вже відому функцію , що характеризує умовний оптимальний виграш із (і+1)-го кроку до кінця процесу, замість стану підставлений новий стан , у яке система переходить на і-му кроці під впливом управління .

Структура моделі динамічного програмування відрізняється від статичної моделі лінійного програмування. Дійсно, у моделях лінійного програмування управляючі змінні – це одночасно й змінні стану моделюємого процесу, а в динамічних моделях окремо вводяться змінні управління , і змінні, що характеризують зміну стану під впливом управління. Таким чином, структура динамічних моделей більш складна, що природно, тому що в цих моделях додатково враховується фактор часу.

10.3 Етапи рішення задачі динамічного програмування

Після того як виконані основні етапи складання математичної моделі задачі динамічного програмування, математична модель складена, приступають до її розрахунку. Визначаються основні етапи рішення задачи динамічного програмування.

– Визначення безлічі можливих станів для останнього кроку.

– Проведення умовної оптимізації для кожного стану на останньому m-му кроці по формулі (10.12) й визначення умовного оптимального управління , .

– Визначення безлічі можливих станів для і-го кроку, .

– Проведення умовної оптимізації і-го кроку, для кожного стану по формулі (10.13) і визначення умовного оптимального управління , , .

– Визначення початкового стану системи , оптимального виграшу і оптимального управління по формулі (10.13) при . Це є оптимальний виграш для всієї задачі .

– Проведення безумовної оптимізації управління. Для проведення безумовної оптимізації необхідно знайдене на першому кроці оптимальне управління підставити у формулу (10.11) і визначити наступний стан системи . Для зміненого стану знайти оптимальне управління , підставити у формулу (10.11) і так далі. Для і-гo стану , знайти і і т.д. [1].