2.3.2Архітектура систем «планувальник – реактор»
Головна ідея агента «планувальник-реактор» полягає в тому, що планувальник є системою, що взаємодіє з реактором таким самим чином, яким реактор взаємодіє зі світом (рис. 2.5). Планувальник містить: модель світу, опис реактора і установку від користувача на цілі реактора і обмеження, яким повинна задовольняти поведінка реактора.
Планувальник функціонує безперервно, відстежуючи поведінку реактора з використанням перцепції, і впливає на реактор у відповідності з установкою, що надав користувач. Він не має доступу до повного змісту реактора, тобто до рядів сенсорних даних, його огляд обмежений виходом процесів перцепції. Реактор і Планувальник розглядаються як повністю незалежні паралельні системи.
Рисунок. 2.5 – Базова архітектура системи «планувальник-реактор»
2.3.3Архітектура Glair
Архітектура Glair (Grounded Layered Architecture with Integrated Reasoning -багаторівнева архітектура з узагальненим висновком) визначає 3 рівні:
рівень знань, який містить традиційну плануючу систему і відносне уявлення об'єктів, подій і станів;
перцепторно-моторний рівень;
сенсорно-актіваторний рівень, який не має явних уявлень – тільки процедурні подання.
Більш того, є відмінності між деліберативною, реактивною і рефлексивною поведінкою. Рефлексивна поведінка не вимагає ніяких міркувань або детальної обробки сенсорних даних і проводиться сенсорно-актіваторная рівнем, у той час як реактивна поведінка вимагає деякої обробки даних, але без широких міркувань, і проводиться перцепторно-моторним рівнем. Можна сказати, що перцепторно-моторний рівень разом з сенсорно-актіваторним рівнем складають реактивний компонент. Всі ментальні завдання розташовуються на рівні знань.
2.3.4Архітектура dyna
Архітектура DYNA може розглядатися як гібридна, але не цілком багаторівнева, що інтегрує реактивність і планування. Вона орієнтована на навчання з підкріпленням і включає три головні компоненти: модуль політики, що є реактивної системою, модель світу і оціночну функцію, що відображає стану величини заохочень (рис. 2.6.).
Рисунок. 2.6 – Базова архітектура DYNA-агента
Внаслідок закритого відношення для навчання з підкріпленням потрібно, щоб модель світу виробляла підкріплення після кожної виконаної дії.
Процес планування, що називається релаксаційним плануванням, складається із серії неглибоких пошуків, зазвичай з глибиною одиниця, які використовують модель світу. Вибір дії, яку треба виконувати, відбувається у випадковому порядку. Метою релаксаційного планування є безперервне підтримання оціночної функції, такою, щоб приріст зростав для відповідних кроків всередині послідовності дій.
Планування перекривається з дією не повністю. Вони не можуть виконуватися паралельно, тому що під час планування DYNA відключає сприйняття реального світу і дію. Протягом фази планування вона не може реагувати на події реального світу, що робить її дуже вразливою.
Істотним недоліком гібридних архітектур є те, що вони робляться ad hoc, тобто їх структура досить добре обгрунтована з конструкторської точки зору, але не ясно, як її обгрунтувати з боку будь-якої глибокій теорії.