29.2. Нейронная сеть хопфилда

Сеть Хопфилда – однослойная, симметричная, нелинейная, автоассоциативная нейронная сеть, которая запоминает бинарные / биполярные образы. Сеть характеризуется наличием обратных связей. Топология сети Хопфилда показана на рис. 7.5. Информация с выхода каждого нейрона поступает на вход всех остальных нейронов. Образы для данной модификации сети Хопфилда кодируются биполярным вектором, состоящим из 1 и –1.

Рис. 7.5. Топология сети Хопфилда

Обучение. Обучение сети осуществляется в соответствии с соотношением

, для , (29.5)

где w_ij – вес связи от i-го нейрона к j-му;

n – количество нейронов в сети;

m – количество образов, используемых для обучения сети;

a_i^k – i-й элемент k-го образа из обучающей выборки.

Матрица весовых коэффициентов

. (29.6)

В качестве матрицы весовых коэффициентов Хопфилд использовал симметричную матрицу (w_ij=w_ji) с нулевой главной диагональю (w_ii=0). Последнее условие соответствует отсутствию обратной связи нейронного элемента на себя. В качестве функции активации нейронных элементов может использоваться как пороговая, так и непрерывная функция, например сигмоидная или гиперболический тангенс.

Будем рассматривать нейронную сеть Хопфилда с дискретным временем. Тогда при использовании пороговой функции активации она называется нейронной сетью с дискретным состоянием и временем. Нейронная сеть с непрерывной функцией активации называется нейронной сетью с непрерывным состоянием и дискретным временем. При использовании непрерывного времени модель Хопфилда называется непрерывной.

Для описания функционирования таких сетей Хопфилд использовал аппарат статистической физики. При этом каждый нейрон имеет два состояния активности (1, –1), которые аналогичны значениям спина некоторой частицы. Весовой коэффициент w_ji можно интерпретировать как вклад поля j – частицы в величину потенциала i – частицы. Хопфилд показал, что поведение такой сети аналогично поведению лизингового спинового стекла. При этом он ввел понятие вычислительной энергии, которую можно интерпретировать в виде ландшафта с долинами и впадинами. Структура соединений сети определяет очертания ландшафта. Нейронная сеть выполняет вычисления, следуя по пути, уменьшающему вычислительную энергию сети. Это происходит до тех пор, пока путь не приведет на дно впадины. Данный процесс аналогичен скатыванию капли жидкости по склону, когда она минимизирует свою потенциальную энергию в поле тяготения. Впадины и долины в сети Хопфилда соответствуют наборам информации, которую хранит сеть. Если процесс начинается с приближенной или неполной информации, то он следует по пути, который ведет к ближайшей впадине. Это соответствует операции ассоциативного распознавания.

Матрица весов является диагонально симметричной, причем все диагональные элементы равны 0.

Воспроизведение. Нейронная сеть Хопфилда может функционировать синхронно и асинхронно. Для воспроизведения используется соотношение

, (29.7)

где a_j(t) – выход j-го нейрона в момент времени t, а f – бинарная / биполярная функция активации;

(29.8)

При работе в синхронном режиме на один такт работы сети все нейроны одновременно меняют состояние. В случае асинхронной работы состояние меняет только один случайный нейрон. Итерации продолжаются до тех пор, пока сеть не придет в стабильное состояние.

Во время воспроизведения исходным вектором a(0) является некоторый тестовый образ, не совпадающий с образами из обучающей выборки. В процессе функционирования по формуле (29.8) сеть должна прийти в состояние, соответствующее образу из обучающей выборки, наиболее похожему на тестовый.

Максимальное количество образов, которое можно запомнить в матрице W не превышает

, (29.9)

где n – количество нейронов, что следует отнести к недостаткам этой сети.