11. Стратегия обучения нейронных сетей. Метод и алгоритм обратного распространения ошибки.

Метод обратного распространения ошибки — метод обучения многослойного перцептрона. Впервые метод был описан в 1974 г. А.И. Галушкиным^[1], а также независимо и одновременно Полом Дж. Вербосом^[2]. Далее существенно развит в 1986 г. Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом^[3] и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа)^[4]. Это итеративный градиентный алгоритм, который используется с целью минимизации ошибки работы многослойного перцептрона и получения желаемого выхода.

Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Барцев и Охонин предложили сразу общий метод («принцип двойственности»), приложимый к более широкому классу систем, включая системы с запаздыванием, распределённые системы, и т.п.^[5]

Для возможности применения метода обратного распространения ошибки передаточная функция нейронов должна быть дифференцируема.

Алгоритм: BackPropagation 

1. Инициализировать {w_ij}_i,j маленькими случайными значениями, {Δw_ij}_i,j = 0

2. Повторить NUMBER_OF_STEPS раз:

Для всех d от 1 до m:

1. Подать   на вход сети и подсчитать выходы o_i каждого узла.

2. Для всех 

δ_k = o_k(1 − o_k)(t_k − o_k).

3. Для каждого уровня l, начиная с предпоследнего:

Для каждого узла j уровня l вычислить

.

4. Для каждого ребра сети {i, j}

Δw_i,j = αΔw_i,j + (1 − α)ηδ_jo_i.

w_i,j = w_i,j + Δw_i,j.

3. Выдать значения w_ij.

где α - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции

12. Последовательная схема нейросетевой системы управления.

13. Информационные технологии интеллектуальных систем управления.

Интеллект является атрибутом сложной системы и характеристикой ее отношения к внешнему миру. Интеллект, как атрибут сложной системы, определяется формированием “образа” (изменением структуры внутренних связей в базе знания), влияющего на реакцию на внешние воздействия. Он проявляется только в актах общения со столь же сложными объектами и активизируется в системе в процессе реорганизации внутренних информационных связей. Это значит, что интеллектуальность может рассматриваться только как оценка a posteriori транзакции сравнительно с некоторой другой нереализовавшейся ситуацией. Основной цикл управления интеллектуальной системы основан на работе со знанием. Классический основной цикл управления не может быть распространен на системы, требующие интеллектуального управления, потому, что управление через “образ” во-первых требует существенного учета конкретного накопленного знания, формально распределенного между руководителем и системой, а во-вторых, более критично к изменению информации в процессе принятия решения. Соответственно, ИСУ, опирающаяся на принятие решений с использованием знания, имеет совершенно отличный основной цикл управления.