15. Свойства нс Хопфилда
НС Хопфилда
является однослойной НС, предназначенной
для распознавания бинарных образов
[2,18]. Сеть охвачена обратной связью
(feedback
loop),
как показано на рис.15.1. Каждая линия
обратной связи содержит элемент задержки
на 1 такт времени
(unit
delay
element).
Обратная связь элементов типа «связь
самого с собой» в сети не используется.
Рис.15.1. НС Хопфилда
Сеть используется
в качестве ассоциативной памяти. Сеть
должна уметь на основе двоичного
неидеального сигнала на входе сформировать
сигнал идентификации или отказа на
выходе. Весовые коэффициенты сети
вычисляются на основе эталонной
информации, которая имеет формат входной
информации.
- где
,
-
количество эталонов. Если
,
то сигнал распознан.
. (15.1)
Число запоминаемых
образов должно удовлетворять ограничению:
.
Кроме того, эталоны попарно должны иметь
существенные корреляционные отличия.
Появление на входе системы нового
сигнала вызывает переходный процесс,
который описывается следующими векторными
соотношениями:
,
,
.
Возможными результатами переходного процесса могут являться:
Одно из эталонных изображений
.Негатив одного из эталонных изображений
.Зацикливания длины 2 некоторых битов выходного сигнала – отказ от распознавания.
Рассмотрим пример распознавания бинарных изображений с помощью НС Хопфилда. Даны два образца изображений:
,
и входное, распознаваемое изображение
.
В этом случае m=2,
n=16, т.е. выполняется неравенство
,
возможно использование НС Хопфилда.
Данные матрицы преобразуем по столбцам в вектора:
,
,
.
Матрица весовых коэффициентов сети:
Формирование i-го элемента выходного сигнала происходит следующим образом: i-я строка матрицы скалярно умножается на вектор входного сигнала. Полученное значение подставляется в активационную функцию. Например, первый элемент выходного вектора равен:
.
Выходной вектор НС имеет вид:
.
Второй и третий выходные сигналы рассчитываются аналогично, но в качестве входного сигнала используется предыдущий выходной сигнал.
,
.
Третий выходной сигнал в точности повторяет первый, это говорит о зацикливании нейронной сети.
Рис. 15.2. Два образцовых изображения Z1, Z2, входной вектор Z3,
выходные вектора Y1, Y2, Y3.
Приведенный пример расчета показывает, что переходной процесс формирования выходного сигнала был коротким, что свойственно для НС Хопфилда.
16. Свойства нс Хемминга
НС Хэмминга формирует на выходе номер распознанного эталона [2,18]. Сеть состоит из двух слоев, с обратной связью во втором слое, как показано на рис.16.1. Сеть выбирает только один эталон с минимальным расстоянием Хэмминга до входного сигнала и активизирует только один выход сети, соответствующий этому эталону. Первый слой НС формирует на своем выходе вектор, состоящий из коэффициентов корреляции входного образа со множеством запомненных образов. Второй слой определяет наибольший коэффициент корреляции и устанавливает в «1» соответствующую выходную линию. Второй слой реализует стратегию WTA (winner take all) – «победитель получает все». Входной и выходной слои содержит столько пар нейронов, сколько образов должна запомнить НС Хэмминга.
Рис.16.1. НС Хэмминга
Весовые коэффициенты
1-го слоя инициируются следующими
значениями:
,
,
где
-
номер эталона,
- номер входного сигнала. Весовые
коэффициенты второго слоя назначаются
следующим образом:
,
если
,
иначе
.
Число запоминаемых образов должно
удовлетворять ограничению:
.
Выходные сигналы первого и второго слоев имеют вид:
, 
,
,
.
Активационная функция первого слоя – линейная функция, второго слоя – положительная линейная ограниченная функция. Активационная функция и матрица второго слоя НС Хэмминга показаны на рис.16.2.
Рис.16.2. Активационная функция и матрица весовых коэффициентов второго слоя
Матрица
имеет отрицательные и положительные
элементы. Такая матрица сохраняет
наибольший сигнал и ослабляет до нуля
меньшие сигналы. От каждого сигнала,
кроме максимального, вычитается
часть других, пока он не станет нулевым
(отрицательные значения исключены
активационной функцией).