12.3 Мережа адаптивної резонансної теорії

Розроблена Стівеном Гросбергом та Карпентером у середині 80-х рр. Парадигма використовує функцію неконтрольованого навчання і аналізує значні вхідні дані, виявляє можливі ознаки та класифікує образи у вхідному векторі.

Мережа адаптивної резонансної теорії складається з двох взаємопов’язаних прошарків нейронів, розташованих між вхідним та вихідним прошарками. Кожен вхідний образ нижчого прошарку резонансу стимулює очікуваний образ на вищому прошарку, який пересилається знов до нижчого прошарку, щоб впливати на наступний вхід. Це створює “резонанс” між нижчим та вищим прошарками для полегшення мережевої адаптації образів.

Мережа переважно використовується у біологічному моделюванні, проте існують деякі технічні застосування. Головним обмеженням мережевої архітектури є її шумова чутливість. Навіть мала кількість шуму на вхідному векторі плутає узагальнюючі можливості навченої мережі.

Мережа ART-1 навчається без учителя і реалізує алгоритм кластеризації, дуже схожий на алгоритм “послідовного лідера”. Відповідно до цього алгоритму перший вхідний сигнал вважається зразком першого кластера. Наступний вхідний сигнал порівнюється зі зразком першого кластера. Говорять, що вхідний сигнал “прямує за лідером” і належить першому кластеру, якщо відстань до зразка першого кластера менше порога. В іншому випадку другий вхідний сигнал - зразок другого кластера. Цей процес повторюється для всіх наступних вхідних сигналів. Таким чином, число кластерів росте з часом і залежить як від значення порога, так і від метрики відстані, що використовується для порівняння вхідних сигналів і зразків класів.

Основна частина мережі ART-1 схожа з мережею Хемінга. За допомогою послідовних зв’язків обчислюється відповідність вхідних сигналів і зразків кластерів. Максимальне значення відповідності підсилюється за допомогою латеральних зв’язків вихідних нейронів.

Мережа ART-1 відрізняється від мережі Хемінга зворотними зв’язками (рис.12.3) від вихідних нейронів до вхідних, крім того є можливість виключати вихідний нейрон з максимальним значенням відповідності і проводити тестування відповідності вхідного сигналу і зразків кластерів, як того вимагає алгоритм “послідовного лідера”.

Рисунок 12.3 – Основні компоненти класифікатора Карпентер/Гросберга

Алгоритм функціонування мережі: - ініціалізація мережі:

v_ij(0)=1;W_ij(0)=1/(1+N)

(12.9)

0≤ i ≤ N-1; 0≤ j ≤ M-1; 0≤ b ≤ 1,

де w_ij(t) - синаптична вага зв’язку від i-го нейрона першого прошарку до j-го нейрона другого прошарку в момент часу t;

v_ij(t) - синаптична вага зв’язку від i-го нейрона другого прошарку до j-го нейрона першого прошарку в момент часу t;

b - значення порога.

Ваги v_ij(t) і w_ij(t) визначають зразок, що відповідає нейрону j.

Поріг b показує, наскільки повинен вхідний сигнал збігатися з одним із запам’ятованих зразків, щоб вони вважалися схожими. Близьке до одиниці значення порога вимагає майже повного збігу.

При малих значеннях порога вхідний сигнал і зразок, навіть якщо вони сильно розрізняються вважаються приналежними одному кластеру.

- пред’явлення мережі нового бінарного вхідного сигналу: вхідні сигнали пред’являються вихідному прошарку нейронів аналогічно тому, як це робиться в мережі Хемінга;

- обчислення значень відповідності:

. (12.10)

Значення відповідності обчислюються паралельно для всіх зразків, запам’ятованих у мережі, аналогічно мережі Хемінга.

- вибір зразка з найбільшою відповідністю:

y_j=max(y_j) . (12.11)

Ця операція виконується за допомогою латерального гальмування.

- порівняння з порогом:

, . (12.12)

якщо

то пропускаємо наступний крок і переходимо до кроку, що йде після нього. Інакше переходимо до наступного кроку.

На цьому кроці обчислюється відношення скалярного добутку вхідного сигналу і зразка з найбільшим значенням відповідності до числа одиничних біт вхідного сигналу. Значення відношення порівнюється з порогом, який введений на першому кроці.

Якщо значення відношення більше порога, то вхідний сигнал вважається схожим на зразок з найбільшим значенням відповідності. У цьому випадку зразок модифікується шляхом виконання операції AND (логічне “I”). Новий зразок є зразок на попередньому кроці + вхідний сигнал.

Якщо значення відношення менше порога, то вважається, що вхідний сигнал відрізняється від всіх зразків і він розглядається як новий зразок. У мережу вводиться нейрон, що відповідає новому зразку, і обчислюються значення синаптичних ваг.

- виключення приклада з найбільшим значенням відповідності: вихід нейрона з найбільшим значенням відповідності тимчасово встановлюється рівним нулю і більш не приймає участь у кроці “вибір зразка з найбільшою відповідністю”.

- адаптація приклада з найбільшим значенням відповідності:

v_ij(t+1)=v_ij(t)x_j

(12.13)

.

- включення всіх зразків виключених на кроці “виключення приклада з найбільшим значенням відповідності”. Повернення до кроку “пред’явлення мережі нового бінарного вхідного сигналу”.

Вхідні сигнали в цій моделі бінарні.

Розмірності входу і виходу обмежені при програмній реалізації тільки можливостями обчислювальної системи, на якій моделюється нейронна мережа, при апаратній реалізації - технологічними можливостями.

Ємність мережі збігається з числом нейронів другого прошарку і може збільшуватися в процесі функціонування мережі.

Області застосування: розпізнавання образів, кластерний аналіз.

Недоліки: необмежене збільшення числа нейронів у процесі функціонування мережі. У присутності шуму виникають значні проблеми, зв’язані з неконтрольованим ростом числа зразків.

Переваги: навчання без учителя.

Модифікації: існує модель ART-2 з аналоговими значеннями вхідних сигналів.