Контрольні питання

1. Склад НМ зустрічного розповсюдження?

2. Алгоритм функціонування НМ зустрічного розповсюдження?

3. Наведіть недоліки, переваги і модифікації НМ зустрічного розповсюдження.

9. Нейронні мережі Хопфілда і Хеммінга

Серед різноманітних конфігурацій ШНМ зустрічаються такі, при класифікації яких за принципом навчання не підходять ні навчання з вчителем, ні навчання без вчителя. У таких мережах вагові коефіцієнти синапсів рахуються тільки один раз перед початком функціонування мережі на основі інформації про оброблювані дані, і всі навчання мережі зводиться саме до цього розрахунку.

З одного боку, пред'явлення апріорної інформації можна розцінювати як допомога вчителя, але з іншої – мережа фактично просто запам'ятовує зразки до того, як на її вхід поступають реальні дані, і не може змінювати свою поведінку, тому говорити про ланку оберненого зв'язку з «світом» (вчителем) не доводиться. З подібною логікою роботи найбільш відомі мережа Хопфілда і мережа Хеммінга (є різновидами мереж із зворотними зв'язками), які звичайно використовуються для організації асоціативної пам'яті (рис. 9.1).

Рис.9.1. Структурна схема мережі Хопфілда

Мережа Хопфілда складається з єдиного шару нейронів, число яких є одночасно числом входів і виходів мережі. Кожний нейрон зв'язаний синапсами з всією рештою нейронів, а також має один вхідний синапс, через який здійснюється введення сигналу. Вихідні сигнали, як завжди, утворюються на аксонах.

Задача, яка вирішується даною мережею як асоціативною пам’ятю, як правило, формулюється таким чином. Відомий деякий набір двійкових сигналів (зображень, звукових відцифровок, інших даних, що описують якісь об'єкта або характеристики процесів), які вважаються зразковими. Мережа повинна уміти з довільного неідеального сигналу, поданого на її вхід, виділити («пригадати» за частковою інформацією) відповідний зразок (якщо такий є) або «дати заключення» про те, що вхідні дані не відповідають жодному із зразків.

У загальному випадку, будь-який сигнал може бути описаний вектором X={х_i : і=1,2,..., }, – число нейронів у мережі і розмірність вхідних і вихідних векторів. Кожний елемент х_i рівний або +1, або -1. Позначимо вектор, що описує k-й зразок, через X^k , а його компоненти, відповідно – , k=1,2,..., , де – у даному випадку число зразків.

Коли мережа розпізнає (або «пригадає») який-небудь зразок на основі пред'явлених їй даних, її виходи міститимуть саме його, тобто Y=X^k, де Y – вектор вихідних значень мережі: Y={у_i : і=1,2,..., }. Інакше, вихідний вектор не співпаде ні з одним зразковим.

Якщо, наприклад, сигнали є якимось зображенням, то, відобразивши в графічному вигляді дані з виходу мережі, можна буде побачити картинку, повністю співпадаючу з однією із зразкових (у разі успіху), або ж «довільну імпровізацію» мережі (у разі невдачі).

На стадії ініціалізації мережі вагові коефіцієнти синапсів встановлюються таким чином:

(9.1)

де: і і j – індекси, відповідно, передсинаптичного і післясинаптичного нейронів;

, - і-й і j-й елементи вектора -го зразка.

Алгоритм функціонування мережі наступний (t - номер ітерації).

1. На входи мережі подається невідомий сигнал. Фактично його введення здійснюється безпосереднім встановленням значень аксонів:

(9.2)

тому позначення на схемі мережі вхідних синапсів в явному вигляді носить чисто умовний характер. Нуль в дужці праворуч від у_i означає нульову ітерацію в циклі роботи мережі.

2. Розраховується новий стан нейронів:

(9.3)

і нові значення аксонів:

(9.4)

де: f – порогова активаційна функція з порогом =0.

3. Перевірка, чи змінилися вихідні значення аксонів за останню ітерацію. Якщо так – перехід до пункту 2, інакше (якщо виходи застабілізувались) – кінець. При цьому вихідний вектор є зразком, що найкращим чином поєднується з вхідними даними.

Доведено, що достатньою умовою стійкої роботи такої мережі є виконання умов:

(9.5)

Як було зазначено вище, іноді мережа не може провести розпізнавання і видає на виході неіснуючий образ. Це пов’язано з проблемою обмеженості можливостей мережі. Для мережі Хопфілда число образів N, що запам'ятовується, не повинне перевищувати величини, зразково рівною 0,15n. Крім того, якщо два образи А і B сильно схожі, вони, можливо, викликатимуть у мережі перехресні асоціації, тобто пред'явлення на входи мережі вектора А приведе до появи на її виходах вектора B і навпаки.

К оли немає необхідності, щоб мережа в явному вигляді видавала зразок, то достатньо, одержувати номер зразка, асоціативну пам'ять успішно реалізує мережа Хеммінга. Дана мережа характеризується, у порівнянні з мережею Хопфілда, меншими затратами на об'ємом обчислень, що стають очевидними з її структури (рис. 9.2.).

Рис. 9.2. Структурна схема мережі Хеммінга

Ідея роботи мережі полягає в знаходженні відстані Хеммінга від тестованого образу до всіх зразків (відстанню Хеммінга називається число відмінних бітів в двох бінарних векторах). Мережа повинна вибрати зразок з мінімальною відстанню Хеммінга до невідомого вхідного сигналу, внаслідок чого буде активізований тільки один вихід мережі, відповідний цьому зразку.

Мережа складається з двох шарів. Перший і другий шари мають по m нейронів, де m – число зразків. Нейрони першого шару мають по п синапсів, сполучених з входами мережі (створюючими фіктивний нульовий шар). Нейрони другого шару зв'язані між собою інгібіторними (негативними зворотними) синаптичними зв'язками. Єдиний синапс з позитивним зворотним зв'язком для кожного нейрона сполучений з його ж аксоном.

На стадії ініціалізації ваговим коефіцієнтам першого шару і порогу активаційної функції присвоюються наступні значення:

(9.6)

де: - і-й елемент -го зразка.

Вагові коефіцієнти гальмуючих синапсів у другому шарі беруть рівними деякій величині 0< <1/ . Синапс нейрона, пов'язаний з його ж аксоном, має вагу +1.

Алгоритм функціонування мережі Хеммінга наступний.

1. На входи мережі подається невідомий вектор X={x_і : i=1,…,n}, виходячи з якого розраховуються стани нейронів першого шару (верхній індекс у дужках вказує номер шару):

(9.7)

Після цього набутими значеннями ініціалізувалися значення аксонів другого шару:

(9.8)

2. Обчислюються нові стани нейронів другого шару:

(9.9)

3. Перевіряється, чи змінилися виходи нейронів другого шару за останню ітерацію. Якщо так – перейди до кроку 2. Інакше – завершення.

З оцінки алгоритму видно, що роль першого шару умовна: скориставшися один раз на кроці 1 значеннями його вагових коефіцієнтів, мережа більше не звертається до нього, тому перший шар може бути взагалі виключений з мережі (замінений на матрицю вагових коефіцієнтів).

На закінчення можна зробити наступне узагальнення. Мережі Хопфілда і Хеммінга дозволяють просто і ефективно вирішити задачу відтворення образів за неповною і спотвореною інформацією. Невисока місткість мереж (число образів, що запам'ятовуються) пояснюється тим, що мережі не просто запам'ятовують образи, а дозволяють проводити їх узагальнення наприклад, за допомогою мережі Хеммінга можлива класифікація по критерію максимальної правдоподібності. Разом з тим, легкість побудови програмних і апаратних моделей роблять ці мережі привабливими для багатьох застосувань.