Контрольні запитання

1 Коли контрольоване навчання нейромережі вважається закінченим?

2 Як здійснюється неконтрольоване навчання нейронної мережі?

3 Які три фундаментальні властивості розглядає теорія навчання?

4 В чому відмінність правила Хопфілда від правила Хеба?

Лекція №8

Перцептрон розенбалата та нейромережа зворотнього поширення похибки

8.1 Перцептрон Розенбалата

Першою моделлю нейромереж вважають перцептрон Розенбалата. Теорія перцептронів є основою для багатьох типів штучних нейромереж прямого поширення і вони є класикою для вивчення.

Одношаровий перцептрон здатний розпізнавати найпростіші образи. Окремий нейрон обчислює зважену суму елементів вхідного сигналу, віднімає значення зсуву і пропускає результат через жорстку порогову функцію, вихід якої дорівнює +1 чи -1. В залежності від значення вихідного сигналу приймається рішення:

- вхідний сигнал належить класу A (+1),

- вхідний сигнал належить класу B (-1).

На рис.8.1 показана схема нейронів, використовуваних в одношарових перцептронах, графік передавальної функції і схема вирішальних областей, створених у багатовимірному просторі вхідних сигналів.

Рисунок 8.1 – Схема нейрона, графік передавальної функції і поділяюча поверхня

Вирішальні області визначають, які вхідні образи будуть віднесені до класу A, а які - до класу B. Перцептрон, що складається з одного нейрона, формує дві вирішальні області, розділені гіперплощиною. На рис.8.1 показаний випадок, коли розмірність вихідного сигналу дорівнює 2. При цьому поділяюча поверхня являє собою пряму лінію на площині. Рівняння, що задає поділяючу пряму, залежить від значень синаптичних ваг і зсуву.

Алгоритм навчання одношарового перцептрона:

- ініціалізація синаптичних ваг і зсуву (синаптичні ваги приймають малі випадкові значення);

- пред’явлення мережі нового вхідного і бажаного вихідного сигналів: вхідний сигнал x=(x₁, x₂, ..., x_n) пред’являється нейрону разом з бажаним вихідним сигналом d;

- обчислення вихідного сигналу нейрона:

(8.1)

- налаштування значень ваг:

w_i(t+1)=w_i (t)+r[d(t)-y(t)]x_i (t), i=1, ..., N (8.2)

(8.3)

де w_і(t) - вага зв’язку від і-го елемента вхідного сигналу до нейрона в момент часу t,

r - швидкість навчання (менше 1);

d(t) - бажаний вихідний сигнал.

Якщо мережа приймає правильне рішення, синаптичні ваги не модифікуються.

- перехід до кроку пред’явлення мережі нового вхідного і бажаного вихідного сигналів.

Тип вхідних сигналів: бінарні чи аналогові (дійсні).

Розмірності входу і виходу обмежені при програмній реалізації тільки можливостями обчислювальної системи, на якій моделюється нейронна мережа, при апаратній реалізації - технологічними можливостями.

Області застосування: розпізнавання образів, класифікація.

Недоліки: примітивні поділяючі поверхні (гіперплощини) дають можливість вирішувати лише найпростіші задачі розпізнавання.

Переваги: програмні та апаратні реалізації моделі дуже прості, простий і швидкий алгоритм навчання.

Модифікації: багатошарові перцептрони дають можливість будувати більш складні поділяючі поверхні і тому більш поширені (рис.8.2).

Рисунок 8.2 – Перцептрон із багатьма виходами