17. Синхронные параллельные и последовательные нс с дискретными и непрерывными состояниями и временем
Рассмотрим НС с парным взаимодействием [5]. Действие нейрона самого на себя будем считать отсутствующим. Фрагмент такой НС показан на рис. 17.1.
Рис.17.1. Фрагмент НС с парным взаимодействием
В начальный момент
сеть характеризуется вектором начальных
состояний:
.
Процесс дальнейшего изменения состояний
нейронов определяется следующим
уравнением:
,
где
-
активационная функция,
-
вектор потенциала активации.
Динамические свойства НС определяют одним из следующих правил:
Синхронная динамика – каждый момент времени активны все нейроны:
.Параллельная динамика – множество активных нейронов зависит от времени и определяется специальной функцией:
.Последовательная динамика – нейроны работают по одному; номер активного нейрона
определяется по некоторому правилу,
например случайно или в зависимости
от величины выходных сигналов в текущий
момент времени.
Состояния НС дискретны или непрерывны, если дискретна или непрерывна активационная функция.
НС с симметричными
связями
,
дискретными состояниями и синхронной
динамикой может иметь группы зацикленных
нейронов; длина зацикливания ограничена
числом состояний нейрона. Последовательная
динамика исключает зацикливания
состояний нейронов. Параллельная
динамика в общем случае уменьшает
количество зацикленных нейронов, но
полностью их исключить не способна.
НС с непрерывными
состояниями в зависимости от вида
динамики и крутизны активационной
функции может иметь следующие виды
предельных
состояний: стационарное состояние,
периодический режим, квазипериодический
режим и хаотический режим.
Модель НС с непрерывным временем задают с помощью следующих уравнений:
, 
,
где
-
линейный выход нейрона,
-
нелинейный выход,
-
внешний сигнал,
-
инерционность нейрона. Предельные
состояния такой НС всегда стационарны.
18. Метод обратного распространения ошибки
Обучение нейронной сети методом градиентного поиска, с учетом слоистой структуры, называется методом обратного распространения ошибки (МОРО – back propagation algorithm)). Данный метод хорошо изучен и достаточно устойчив [2,14,18]. Сигналы ошибки распространяются от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки НС является сигнал ошибки обучения:
, (18.1)
где
- реальное выходное состояние нейрона
j выходного слоя N нейронной сети при
подаче на ее входы p-го образа;
- идеальное (желаемое) выходное состояние
этого нейрона. Суммирование ведется по
всем нейронам выходного слоя и по всем
обрабатываемым сетью образам. Минимизация
ведется методом градиентного спуска,
что означает подстройку весовых
коэффициентов следующим образом:
,
где
- весовой коэффициент синаптической
связи;
-
номер нейрона;
-
номер входа нейрона;
-
номер слоя;
- коэффициент скорости обучения,
.
Производная сложной функции имеет вид:
,
где
-
выход нейрона
;
- взвешенная сумма входных сигналов, то
есть аргумент активационной функции.
Для производной сигнала ошибки по
выходному сигналу имеем:
.
Здесь суммирование
по
выполняется среди нейронов слоя
.
Введя новую переменную
,
получим рекурсивную
формулу для расчетов величин
слоя
из величин
слоя
:
.
Для выходного слоя:
.
Теперь можно записать основное выражение для весовых коэффициентов в обобщенном виде:
Рассмотренный метод обучения не всегда приводит к правильному решению, что обусловлено рядом причин. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от активационной функции приведут к остановке обучения, что парализует НС. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором величины скорости обучения. Занижение скорости обучения приводит к увеличению длительности обучения. С другой стороны, слишком большие коррекции весов могут привести к потере устойчивости процесса обучения. Несмотря на указанные недостатки, рассмотренный метод считается одним из наиболее эффективных методов обучения нейронных сетей.