Алгоритм функціонування мережі:

- визначити змінну T, що представляє штучну температуру;

- пред’явити мережі множину входів і обчислити виходи та цільову функцію;

- дати випадкову зміну вагам і перерахувати вихід мережі та зміну цільової функції у відповідності зі зробленою зміною ваг;

- якщо цільова функція зменшилась, то зберегти зміну ваг.

Якщо зміна ваг приводить до збільшення цільової функції, то ймовірність збереження цієї зміни обчислюється за допомогою розподілу Больцмана:

, (11.6)

де P(c) - ймовірність зміни c у цільовій функції;

k - константа, аналогічна константі Больцмана, що вибирається в залежності від задачі;

T - штучна температура.

Вибирається випадкове число r з рівномірного розподілу від нуля до одиниці. Якщо P(c) більше, ніж r, то зміна зберігається, в іншому випадку величина ваги повертається до попереднього значення.

Ця процедура дає можливість системі робити випадковий крок у напрямку, що псує цільову функцію, дозволяючи їй тим самим вириватися з локальних мінімумів.

Кроки 3 і 4 повторюються для кожної з ваг мережі, поступово зменшуючи температуру T, поки не буде досягнуте припустиме низьке значення цільової функції. У цей момент пред’являється інший вхідний вектор і процес навчання повторюється. Мережа навчається на всіх векторах навчальної множини, поки цільова функція не стане припустимої для всіх з них.

Швидкість зменшення температури повинна бути зворотньо пропорційна логарифму часу. При цьому мережа збігається до глобального мінімуму.

Області застосування: розпізнавання образів, класифікація.

Недоліки: повільний алгоритм навчання.

Переваги: алгоритм дає можливість мережі вибиратися з локальних мінімумів адаптивного рельєфу простору станів.

Модифікації: випадкові зміни можуть проводитися не тільки для окремих ваг, але і для всіх нейронів прошарків в багатошарових мережах або для всіх нейронів мережі одночасно. Ці модифікації алгоритму дають можливість скоротити загальне число ітерацій навчання.

Контрольні запитання

1 Які прошарки має односкерована мережа Counter Propagation?

2 Який прошарок називають прошарком Гросберга?

3 Які алгоритми об’єднані у мережі зустрічного поширення?

4 Як вчиться ймовірнісна нейронна мережа?

5 Які прошарки має ймовірнісна мережа?

6 Які недоліки характерні ймовірнісній нейронній мережі?

7. На аналогії до чого базується мережа Хопфілда?

8 Скільки прошарків використовує мережа Хопфілда?

9 Яке співвідношення кількості нейронів в кожному прошарку до іншого в мережі Хопфілда?

10 Як відбувається навчання мережі Хопфілда?

11 До якої нейромережі подібна (за функцією та дією) машина Больцмана?

12 Яке правило больцманівського навчання Вам відоме?

Лекція №12

Мережа хемінга. Двоскерована асоціативна пам’ять. Мережа адаптивної резонансної теорії