Контрольні запитання

1 Модифікацією якої мережі є Delta bar Delta?

2 Який підхід до навчання штучних мереж використовує парадигма Delta bar Delta ?

3 Які переваги та недоліки парадигми Delta Bar Delta?

4 Які особливості має алгоритм Extended Delta bar Delta?

5 Які важливі риси парадигми випадкового пошуку Вам відомі?

6 Які основні компоненти мережі з випадковим пошуком?

Лекція №10

Нейронна мережа вищого порядку. Мережа кохонена. Квантування навчального вектора

10.1 Нейронна мережа вищого порядку або функціонально-пов’язана нейронна мережа

Функціонально-пов’язані мережі були розроблені Йох-Хан Пао (Yoh-Han Pao) і детально описані в його книзі “Адаптивне розпізнавання образів та нейронні мережі” (Adaptive Pattern Recognition and Neural Networks). Нейромережа розширює стандартну архітектуру FeedForward Back Propagation модифікацією вузлів на вхідному прошарку. Входи комбінуються зрозумілим математичним шляхом за допомогою функцій вищого порядку, таких як квадрати, куби або синуси і розширюють сприйняття мережею заданої проблеми. Із назв цих функцій, вищого порядку або функціонально пов’язаних входів і випливає назва нейромереж.

Існує два основних способи додавання вхідних вузлів. В першому, у модель можуть додаватись перехресні добутки вхідних елементів, це називається вхідним добутком або тензорною моделлю, де кожна компонента вхідного образу перемножується зі всіма компонентами вхідного вектора. Наприклад, для мережі ВackРropagation з трьома входами (A, B і C), перехресними добутками будуть AA, BB, CC, AB, AC та BC (елементи другого порядку). Також можуть додаватись елементи третього порядку, такі як ABC.

Другим методом для додавання вхідних вузлів є функціональне розширення базових входів. У випадку моделі з входами A, B і C, її можна перетворити у модель нейронної мережі вищого порядку з входами: A, B, C, SIN(A), COS(B), LOG(C), MAX(A,B,C) та ін. Повний ефект повинна забезпечити мережа з об’єднанням моделі тензорного та функціонального розширення.

Ніякої нової інформації не додається, але розширене представлення входів робить мережу простішою для навчання. Існують обмеження для цієї моделі. Для перетворення початкових входів необхідна обробка більшої кількості вхідних вузлів, що впливає на швидкодію мережі, тому при розширенні входів має бути враховане поєднання точного рішення та порівняно невеликого часу навчання.

10.2 Мережа Кохонена

Мережа розроблена Тойво Кохоненом на початку 1980-х рр. і принципово відрізняється від розглянутих вище мереж, оскільки використовує неконтрольоване навчання і навчальна множина складається лише із значень вхідних змінних.

Мережа розпізнає кластери в навчальних даних і розподіляє дані до відповідних кластерів. Якщо в наступному мережа зустрічається з набором даних, несхожим ні з одним із відомих зразків, вона відносить його до нового кластеру. Якщо в даних містяться мітки класів, то мережа спроможна вирішувати задачі класифікації. Мережі Кохонена можна використовувати і в задачах, де класи відомі - перевага буде у спроможності мережі виявляти подібність між різноманітними класами.

Мережа Кохонена (рис.10.1) має всього два прошарки: вхідний і вихідний, що називають самоорганізованою картою. Елементи карти розташовуються в деякому просторі - як правило двовимірному.

Рисунок 10.1 – Мережа Кохонена

Мережа Кохонена навчається методом послідовних наближень. Починаючи з випадковим чином обраного вихідного розташування центрів, алгоритм поступово покращується для кластеризації навчальних даних.

Проте, алгоритм може працювати і на іншому рівні. В результаті ітеративної процедури навчання мережа організовується таким чином, що елементи, які відповідають центрам, розташованим близько один від одного в просторі входів, будуть розташовані близько один від одного і на топологічній карті. Топологічний прошарок мережі можна уявити як двовимірну штахету, яку потрібно так відобразити в N-вимірний простір входів, щоб по можливості зберегти вихідну структуру даних. Звісно ж, при будь-якій спробі відтворити N-вимірний простір на площині буде загублено багато деталей, але такий прийом дозволяє користувачу візуалізувати дані, що неможливо зрозуміти іншим засобом.

Основний ітераційний алгоритм Кохонена послідовно проходить ряд епох. На кожній епосі опрацьовується один навчальний приклад. Вхідні сигнали - вектори дійсних чисел - послідовно пред’являються мережі. Бажані вихідні сигнали не визначаються. Після пред’явлення достатнього числа вхідних векторів, синаптичні ваги мережі визначають кластери. Крім того, ваги організуються так, що топологічно близькі вузли чуттєві до схожих вхідних сигналів.

Для реалізації алгоритму необхідно визначити міру сусідства нейронів (окіл нейрона-переможця). На рис.10.2 показані зони топологічного сусідства нейронів на карті ознак у різні моменти часу. NE_j(t) - множина нейронів, що вважаються сусідами нейрона j у момент часу t. Зони сусідства зменшуються з часом.

Рисунок 10.2 – Зони топологічного сусідства на карті ознак у різні моменти часу

Алгоритм функціонування мережі Кохонена:

- ініціалізація мережі. Ваговим коефіцієнтам мережі надаються малі випадкові значення. Початкова зона сусідства показана на рис. 10.2;

- пред’явлення мережі нового вхідного сигналу;

- обчислення відстані до всіх нейронів мережі: відстані d_j від вхідного сигналу до кожного нейрона j визначаються за формулою:

, (10.1)

де x_i - i-ий елемент вхідного сигналу в момент часу t,

w_ij(t) - вага зв’язку від i-го елемента вхідного сигналу до нейрона j у момент часу t.

- вибір нейрона з найменшою відстанню: вибирається нейрон-переможець j^*, для якого відстань d_j найменша;

- налаштування ваг нейрона j^* і його сусідів: робиться налаштування ваг для нейрона j^* і всіх нейронів з його околу NE. Нові значення ваг:

w_ij(t+1)=w_ij(t)+r(t)(x_i(t)-w_ij(t)) , (10.2)

де r(t) - швидкість навчання, що зменшується з часом (додатне число, менше одиниці).

- повернення до кроку пред’явлення мережі нового вхідного сигналу.

В алгоритмі використовується коефіцієнт швидкості навчання, який поступово зменшується, для тонкішої корекції на новій епосі. В результаті позиція центру встановлюється в певній позиції, яка довільним чином кластеризує приклади, для яких даний нейрон є переможцем.

Властивість топологічної впорядкованості досягається в алгоритмі за допомогою використання поняття околу.

Окіл - це декілька нейронів, що оточують нейрон-переможець. Відповідно до швидкості навчання, розмір околу поступово зменшується, так, що спочатку до нього належить досить велике число нейронів (можливо вся карта), на самих останніх етапах окіл стає нульовим і складається лише з нейрона-переможця. В алгоритмі навчання корекція застосовується не тільки до нейрона-переможця, але і до всіх нейронів з його поточного околу. В результаті такої зміни околу, початкові доволі великі ділянки мережі мігрують в бік навчальних прикладів. Мережа формує грубу структуру топологічного порядку, при якій схожі приклади активують групи нейронів, що близько знаходяться на топологічній карті. З кожною новою епохою швидкість навчання і розмір околу зменшуються, тим самим всередині ділянок карти виявляються більш тонкі розходження, що зрештою призводить до точнішого налаштування кожного нейрона. Часто навчання зумисне розбивають на дві фази: більш коротку, з великою швидкістю навчання і великих околів, і більш тривалу з малою швидкістю навчання і нульовими або майже нульовими околами.

Після того, як мережа навчена розпізнаванню структури даних, її можна використовувати як засіб візуалізації при аналізі даних.

Області застосування: кластерний аналіз, розпізнавання образів, класифікація.

Недоліки: мережа може бути використана для кластерного аналізу тільки в тому випадку, якщо заздалегідь відоме число кластерів.

Переваги: мережа Кохонена здатна функціонувати в умовах перешкод, тому що число кластерів фіксоване, ваги модифікуються повільно, налаштування ваг закінчується після навчання.

Модифікації: одна з модифікацій полягає в тому, що до мережі Кохонена додається мережа MAXNET, що визначає нейрон з найменшою відстанню до вхідного сигналу.