Обучение нейроконтроллера
Обучение нейроконтроллера состоит в предоставлении обучающих примеров из небольшой группы желательных действий. Затем следует выполнение алгоритма обратного распространения с учетом желаемого результата и действительного результата. Например, если персонаж имеет пистолет, здоров и видит одного врага, желаемое действие - атаковать. Однако если персонаж здоров, имеет нож, но видит двух врагов, то правильное действие - спрятаться.
Данные для тестирования
Данные для тестирования представляют собой несколько сценариев с набором действий. Поскольку требуется, чтобы нейроконтррллер вел себя так же, как настоящий человек, мы не будем обучать его для каждого случая. Сеть должна рассчитывать реакцию на входы и выполнять действие, которое будет похожим на обучающие сценарии.
Здоровье |
Имеет нож |
Имеет пистолет |
Враги |
Поведение |
2 |
0 |
0 |
0 |
Уворачиваться |
2 |
0 |
0 |
1 |
Уворачиваться |
2 |
0 |
1 |
1 |
Атаковать |
2 |
0 |
1 |
2 |
Атаковать |
2 |
1 |
0 |
2 |
Прятаться |
2 |
1 |
0 |
1 |
Атаковать |
1 |
0 |
0 |
0 |
Уворачиваться |
1 |
0 |
0 |
1 |
Прятаться |
1 |
0 |
1 |
1 |
Атаковать |
1 |
0 |
1 |
2 |
Прятаться |
1 |
1 |
0 |
2 |
Прятаться |
1 |
1 |
0 |
1 |
Прятаться |
0 |
0 |
0 |
0 |
Уворачиваться |
0 |
0 |
0 |
1 |
Прятаться |
0 |
0 |
1 |
1 |
Прятаться |
0 |
0 |
1 |
2 |
Бежать |
0 |
1 |
0 |
2 |
Бежать |
0 |
1 |
0 |
1 |
Прятаться |
Данные, приведенные в табл., были переданы сети в произвольном порядке во время обучения с помощью алгоритма обратного распространения.
12. Радіально-базисні мережі, принцип
Радиально-базисная нейронная сеть
представляет собой сеть с двумя слоями.
Первый слой осуществляет преобразование
входного вектора
с использованием радиально-базисных
функций. Практически используются
различные радиально-базисные функции.
Наиболее часто употребляемая функция
– гаусса, имеющий вид для
-го
нейрона
,
где
– входной вектор,
– ширина RBF
-го
нейрона,
– центр RBF
-го
нейрона,
.
Выход сети описывается выражением
,
где
– вес, связывающий выходной нейрон с
-м
нейроном первого слоя;
– число нейронов первого слоя.
РБМ – використовують рад-баз функції з використанням зворотнього зв’язку.
F(x)=Ф(x^2/ ^2). = F(x)=e^(x^2/ ^2).
Особливості: - один прихований шар
тільки нейрони прихованого шару мають нелінійну функцію активації
……
Для обучения RBF-сетей разработаны различные алгоритмы. Основной алгоритм использует двушаговую стратегию обучения, или смешанное обучение. Он оценивает позицию и ширину ядра с использованием алгоритма кластеризации "без учителя", а затем алгоритм минимизации среднеквадратической ошибки "с учителем" для определения весов связей между скрытым и выходным слоями. Поскольку выходные элементы линейны, применяется неитерационный алгоритм. После получения этого начального приближения используется градиентный спуск для уточнения параметров сети.
Этот смешанный алгоритм обучения RBF-сети сходится гораздо быстрее, чем алгоритм обратного распространения для обучения многослойных перцептронов. Однако RBF-сеть часто содержит слишком большое число скрытых элементов. Это влечет более медленное функционирование RBF-сети, чем многослойного персептрона. Эффективность (ошибка в зависимости от размера сети) RBF-сети и многослойного персептрона зависят от решаемой задачи.