Контрольні запитання

1 Ким розроблені функціонально-пов’язані мережі?

2 Чим відрізняється функціонально-пов’язана нейромережа від стандартної архітектури FeedForward Back Propagation ?

3 Які є способи додавання вхідних вузлів в функціонально-пов’язаних нейромережах?

4 Мережа Кохонена використовує контрольоване навчання чи неконтрольоване навчання?

5 З чого складається навчальна множина в мережі Кохонена?

6 Скільки прошарків нейронів може мати мережа Кохонена?

7 За допомогою якого методу навчається мережа Кохонена?

8 Який алгоритм функціонування мережі Кохонена?

9 Які переваги і недоліки мережі Кохонена?

10 Коли і ким запропоновано квантування навчального вектора?

11 Чим мережа квантування навчального вектора відрізняється від мережі Кохонена?

12 Мережа квантування навчального вектора використовує правила контрольованого чи неконтрольованого навчання?

Лекція №11

Мережа зустрічного поширення. Ймовірнісна нейронна мережа. Мережа хопфілда. Машина больцмана

11.1 Мережа зустрічного поширення (CounterРropagation)

Роберт Хехт-Нільсен (Robert Hecht-Nielsen) розробив мережу СounterРropagation як засіб для поєднання неконтрольованого прошарку Кохонена із контрольованим вихідним прошарком. Мережа призначена для вирішення складних класифікацій, при мінімізації числа нейронів та часу навчання. Навчання для мережі СounterРropagation подібне до мережі з квантуванням навчального вектора.

Приклад мережі зображений на рис.11.1. Односкерована мережа Counter Propagation має три прошарки:

- вхідний прошарок;

- самоорганізовану карту Кохонена;

- вихідний прошарок, що використовує правило “дельта” для зміни вхідних ваг з’єднань. Цей прошарок називають прошарком Гросберга.

Рисунок 11.1 – Мережа зустрічного поширення без зворотніх зв’язків

Перша мережа СounterРropagation складалась із двоскерованого відображення між вхідним та вихідним прошарками. Дані надходили на вхідний прошарок для генерації класифікації на вихідному прошарку, вихідний прошарок по черзі приймав додатковий вхідний вектор та генерував вихідну класифікацію на вхідному прошарку мережі. Через такий зустрічно-поширений потік інформації випливає назва мережі. Багато розробників використовують односкерований варіант СounterРropagation, коли існує лише один шлях прямого поширення від вхідного до вихідного прошарку.

У мережі зустрічного поширення об’єднані два алгоритми:

- самоорганізована карта Кохонена;

- зірка Гросберга (Grossberg Outstar).

У мережі зустрічного поширення кожен елемент вхідного сигналу подається на всі нейрони прошарку Кохонена. Ваги зв’язків (w_mn) утворюють матрицю W. Кожен нейрон прошарку Кохонена з’єднаний зі всіма нейронами прошарку Гросберга. Ваги зв’язків (v_np) утворюють матрицю ваг V. Нейронні мережі, що поєднують різні нейропарадигми як будівельні блоки, більш близькі до мозку по архітектурі, ніж однорідні структури. Вважається, що в мозку саме каскадні з’єднання модулів різної спеціалізації дозволяють виконувати необхідні обчислення.

У процесі навчання мережі зустрічного поширення вхідні вектори асоціюються з відповідними вихідними векторами (двійковими або аналоговими). Після навчання мережа формує вихідні сигнали, що відповідають вхідним сигналам. Узагальнююча здатність мережі дає можливість одержувати правильний вихід, якщо вхідний вектор неповний чи спотворений.