Контрольні запитання

1 Що вважають першою моделлю нейромереж?

2 Який алгоритм навчання одношарового перцептрона?

3 Які області застосування одношарового перцептрона?

4 Які недоліки і переваги застосування одношарового перцептрона?

5 Коли і ким була розроблена архітектура FeedForward Back Propagation ?

6 Що треба зробити після того, як визначено число прошарків і число нейронів в кожному з них?

7 Який алгоритм навчання нейромережі зворотнього поширення похибки?

8 Які сигмоїдальні передавальні функції застосовуються в нейронних мережах?

9 Які є модифікації алгоритму зворотнього поширення?

Лекція №9

Мережі delta bar delta,

EXTENDED DELTA BAR DELTA

ТА DIRECTED RANDOM SEARCH

9.1 Delta bar Delta

Delta bar Delta була розроблена Робертом Джекобсом (Robert Jacobs), для покращення оцінки навчання стандартних мереж FeedForward і є модифікацією мережі Back Propagation.

Процедура Back Propagation базується на підході найкрутішого спуску, який мінімізує похибку передбачення мережі під час процесу змінювання синаптичних ваг. Стандартні оцінки навчання застосовуються на базисі “прошарок за прошарком” і значення моменту призначаються глобально. Моментом вважається фактор, що використовується для згладжування оцінки навчання. Момент додається до стандартної зміни ваги і є пропорційним до попередньої зміни ваги. Хоча цей метод є успішним у вирішенні багатьох задач, збіжність процедури занадто повільна для використання.

Парадигма Delta bar Delta має “неформальний” підхід до навчання штучних мереж, при якому кожна вага має свій власний самоадаптований фактор навчання і минулі значення похибки використовуються для обчислення майбутніх значень. Знання ймовірних похибок дозволяє мережі робити інтелектуальні кроки при змінюванні ваг, але процес ускладнюється тим, що кожна вага може мати зовсім різний вплив на загальну похибку. Джекобс запропонував поняття “здорового глузду”, коли кожна вага з’єднання мережі повинна мати власну оцінку навчання, а розмір кроку, що призначений до одної ваги з’єднання не застосовується для всіх ваг у прошарку.

Оцінка навчання ваги з’єднання змінюється на основі інформації про біжучу похибку, знайдену із стандартної ВackРropagation. Якщо локальна похибка має однаковий знак для декількох послідовних часових кроків, оцінка навчання для цього з’єднання лінійно збільшується. Якщо локальна похибка часто змінює знак, оцінка навчання зменшується геометрично і це гарантує, що оцінки навчання з’єднання будуть завжди додатними. Оцінкам навчання дозволено змінюватись в часі. Призначення оцінки навчання до кожного з’єднання, дозвіл цій оцінці навчання неперервно змінюватись з часом обумовлюють зменшення часу збіжності.

З дозволом різних оцінок навчання для кожної ваги з’єднання у мережі, пошук найкрутішого спуску може не виконуватись. Замість цього, ваги з’єднань змінюються на основі часткових похідних похибки відносно самої ваги і оцінці “кривизни поверхні похибки” поблизу біжучої точки значення ваги. Зміни ваг відповідають обмеженню місцевості і вимагають інформацію від нейронів, з якими вони з’єднані.

Переваги: парадигма Delta Bar Delta є спробою прискорити процес збіжності алгоритму зворотного поширення за рахунок використання додаткової інформації про зміну параметрів і ваг під час навчання.

Недоліки:

- навіть невелике лінійне збільшення коефіцієнта може привести до значного росту швидкості навчання, що викликає стрибки в просторі ваг;

- геометричне зменшення коефіцієнта іноді виявляється не досить швидким.

9.2 Extended Delta Bar Delta

Елі Мінаї (Ali Minai) та Рон Вільямс (Ron Williams) розробили алгоритм Extended Delta bar Delta, як природній наслідок роботи Джекобса. В алгоритм вбудовується пам’ять з особливістю відновлення. Після кожного представлення навчальних даних епохи, оцінюється накопичена похибка. Якщо похибка є меншою за попередню мінімальну похибку, ваги зберігаються у пам’яті, як найкращі на цей час. Параметр допуску керує фазою відновлення. У випадку, коли біжуча похибка перевищує мінімальну попередню похибку, модифіковану параметром допуску, всі значення ваг з’єднань стохастично повертаються до збереженої у пам’яті найкращої множини ваг.