12.2 Двоскерована асоціативна пам’ять

Ця мережева модель була розроблена Бартом Козко (Bart Kosko) і розширює модель Хопфілда. Множина парних образів навчається за образами, що представлені як біполярні вектори. Подібно до мережі Хопфілда, коли представляється зашумлена версія одного образу, визначається найближчий образ, асоційований з ним.

На рис.12.1 показаний приклад двоскерованої асоціативної пам’яті. Вона має стільки входів, скільки є вихідних нейронів. Два приховані прошарки містяться на двох окремих асоціативних елементах пам’яті і представляють подвоєний розмір вхідних векторів. Середні прошарки повністю з’єднуються один з одним. Вхідний та вихідний прошарки потрібні для реалізації засобів введення та відновлення інформації з мережі.

Рисунок 12.2 – Двоскерована асоціативна пам’ять

Середні прошарки розроблені для збереження асоційованих пар векторів. Коли зашумлений вектор образу вважається вхідним, середні прошарки коливаються до досягнення стабільного стану рівноваги, який відповідає найближчій навченій асоціації і буде генерувати початковий навчальний образ на виході. Подібно до мережі Хопфілда, двоскерована асоціативна пам’ять є схильною до неправильного відшукування навченого образу, якщо надходить невідомий вхідний вектор, який не був у складі навчальної множини.

Двоскерована асоціативна пам’ять відноситься до гетероасоціативної пам’яті. Вхідний вектор надходить на один набір нейронів, а відповідний вихідний вектор продукується на іншому наборі нейронів. Вхідні образи асоціюються з вихідними.

Для порівняння: мережа Хопфілда є автоасоціативною. Вхідний образ може бути відновлений чи виправлений мережею, але не може бути асоційований з іншим образом. У мережі Хопфілда використовується одношарова структура асоціативної пам’яті, у якій вихідний вектор з’являється на виході тих же нейронів, на які надходить вхідний вектор.

Двоскерована асоціативна пам’ять, як і мережа Хопфілда, здатна до узагальнення, виробляючи правильні вихідні сигнали, незважаючи на спотворені входи.

Розглянемо схему двоскерованої асоціативної пам’яті. Вхідний вектор A обробляється матрицею ваг W мережі, у результаті чого продукується вектор вихідних сигналів мережі B. Вектор B обробляється транспонованою матрицею W^T ваг мережі, яка продукує сигнали, що представляють новий вхідний вектор A. Цей процес повторюється доти, поки мережа не досягне стабільного стану, у якому ні вектор A, ні вектор B не змінюються.

Нейрони в прошарках 1 і 2 функціонують, як і в інших парадигмах, обчислюючи суму зважених входів і значення передавальної функції F:

(12.6)

або у векторній формі:

B=F(AW) , (12.7)

де B - вектор вихідних сигналів нейронів прошарку 2;

A - вектор вихідних сигналів нейронів прошарку 1;

W - матриця ваг зв’язків між прошарками 1 і 2;

F - передавальна функція.

Аналогічно A=F(BW^T), де W^T є транспозицією матриці W.

В якості передавальної функції використовується експонентна сигмоїда.

Прошарок 0 не робить обчислень і не має пам’яті. Він є лише засобом розподілу вихідних сигналів прошарку 2 до елементів матриці W^T.

Формула для обчислення значень синаптичних ваг:

, (12.8)

де A_j і B_j - вхідні і вихідні сигнали навчальної вибірки.

Вагова матриця обчислюється як сума добутків всіх векторних пар навчальної вибірки.

Системи зі зворотним зв’язком мають тенденцію до коливань. Вони можуть переходити від стану до стану, ніколи не досягаючи стабільності. Доведено, що двоскерована асоціативна пам’ять безумовно стабільна при будь-яких значеннях ваг мережі.

Області застосування: асоціативна пам’ять, розпізнавання образів.

Недоліки: ємність двоскерованої асоціативної пам’яті жорстко обмежена. Якщо n - кількість нейронів у вхідному прошарку, то число векторів, що можуть бути запам’ятовані в мережі не перевищує L=n/2log₂n. Так, якщо n=1024, то мережа здатна запам’ятати не більш 25 образів. Крім того, двоскерована асоціативна пам’ять має деяку непередбачуваність у процесі функціонування, можливі помилкові відповіді.

Переваги:

- у порівнянні з автоасоціативною пам’яттю (наприклад, мережею Хопфілда), двоскерована асоціативна пам’ять дає можливість будувати асоціації між векторами A і B, що у загальному випадку мають різні розмірності. За рахунок таких можливостей гетероасоціативна пам’ять має більш широкий клас застосувань, ніж автоасоціативна пам’ять;

- двоскерована асоціативна пам’ять – це проста мережа, що може бути реалізована у виді окремої НВІС чи оптоелектронним способом;

- процес формування синаптичних ваг простий і швидкий. Мережа швидко збігається в процесі функціонування.

Модифікації:

- сигнали в мережі можуть бути як дискретними, так і аналоговими. Для обох випадків доведена стабільність мережі;

- були запропоновані моделі двоскерованої асоціативної пам’яті з навчанням без вчителя (адаптивна двоскерована асоціативна пам’ять);

- введення латеральних зв’язків всередині прошарку дає можливість реалізувати конкуруючу двоскеровану асоціативну пам’ять.