Контрольні питання

1. Наведіть структуру мережі Хопфілда.

2. Алгоритм роботи мережі Хопфілда?

3. Наведіть структуру мережі Хемінга.

4. Алгоритм роботи мережі Хемінга?

5. Області використання НМ Хопфілда і Хемінга?

10. Мережа з радіальними базисними елементами (rbf)

У загальному випадку під терміном Radial Basis Function Network (мережа RBF) розуміється двошарова мережа без зворотних зв'язків, яка містить прихований шар радіально симетричних прихованих нейронів (шаблонний шар). Для того, щоб шаблонний шар був радіально-симетричним, необхідне виконання слідуючих умов:

• наявність центру, представленого у вигляді вектора у вхідному просторі; звичайно цей вектор зберігається в просторі вагів від вхідного шару до шару шаблонів;

• наявність способу вимірювання відстані вхідного вектора від центру; звичайно це стандартна евклідова відстань;

• наявність спеціальної функції проходження від одного аргумента, яка визначає вихідний сигнал нейрона шляхом відбраження функції відстані; звичайно використовується функція Гауса:

(10.1)

Іншими словами, вихідний сигнал шаблонного нейрона – це функція тільки від відстані між вхідним вектором X і збереженим центром С:

(10.2)

Вихідний шар мережі є лінійним, так що виходи мережі визначаються виразом:

(10.3)

де: C_і – центри,

– відхилення радіальних елементів.

Навчання RBF-мережі відбувається у декілька етапів. Спочатку визначаються центри і відхилення для радіальних елементів; після цього оптимізуються параметри W_ij лінійного вихідного шару.

Розташування центрів, повинно відповідати кластерам, які присутні в початкових даних. Розглянемо два найбільш застосовуваних методів.

Вибірка з вибірки. За центри радіальних елементів беруться декілька випадково вибраних точок які навчають множину. Через випадковість вибору вони «представляють» розподіл навчальних даних у статистичному значенні. Але, якщо число радіальних елементів невелике, таке представлення може бути незадовільним.

Алгоритм К-cеpeдніх. Цей алгоритм прагне вибрати оптимальну нескінченність точок, що є центроїдами кластерів у навчальних даних. При К радіальних елементах їх центри розташовуються так, щоб:

• кожна навчальна точка «відносилася» до одного центру кластера і лежала до нього ближче, ніж до будь-якого іншого центру;

• кожний центр кластера був центроїдом нескінченності навчаючих точок, що відносяться до цього кластера.

Після того, як визначили розміщення центрів, потрібно знайти відхилення. Величина відхилення (її також називають згладжуючим чинником) визначає наскільки «гострою» буде гауссівська функція. Якщо ці функції вибрані дуже гострими, мережа не інтерполюватиме дані між відомими точками і втратить здібність до узагальнення. Якщо ж гауссові функції узяті занадто широкими, мережа не сприйматиме дрібні деталі (насправді сказане – ще одна форма прояву дилеми пере/недонавчання). Як правило, відхилення вибираються так, щоб «вершина» кожної гауссової функцій захоплювала декілька сусідніх центрів. Для цього є декілька методів:

Явний. Відхилення задаються користувачем.

Ізотропний. Відхилення береться однаковим для всіх елементов і визначається евристично з врахуванням кількості радіальних елементів і об'єму простору, що покривається.

До найближчих сусідів. Відхилення кожного елемента встановлюється (індивідуально) рівним середній відстані до його К найближчих сусідів. Тим самим відхилення будуть менше в тих частинах простору, де точки розташовані густо – тут добре враховуватимуться деталі – а там, де точок мало, відхилення будуть великими (і проводитиметься інтерполяція).

Після того, як вибрані центри і відхилення, параметри вихідного шару оптимізуються за допомогою стандартного методу лінійної оптимізації – алгоритму псевдозворотних матриць (сингулярного розкладання).

Можуть бути побудовані різні гібридні різновиди мереж з радіальними базисними функціями. Наприклад, вихідний шар може мати нелінійні функції активації, і тоді для його навчання використовується який-небудь з алгоритмів навчання багатошарових мереж, наприклад метод зворотного розповсюдження. Можна також навчати радіальний (прихований) шар за допомогою алгоритма навчання мережі Кохонена – це ще один спосіб розмістити центри так, щоб вони відображали розташування даних.

Мережі RBF мають ряд переваг перед розглянутими багатошаровими мережами прямого розповсюдження. По-перше, вони моделюють довільну нелінійну функцію за допомогою всього одного проміжного шару, тим самим позбавляючи нас від необхідності вирішувати питання про число шарів. По-друге, параметри лінійної комбінації у вихідному шарі можна повністю оптимізувати за допомогою добре відомих методів лінійної оптимізації, які працюють швидко і не зазнають труднощів з локальними мінімумами, що так заважають при навчанні з використанням алгоритму зворотного розповсюдження помилки. Тому мережа RBF навчається дуже швидко (на порядок швидше, ніж з алгоритмом зворотного розповсюдження).

Недоліки мереж RBF: дані мережі володіють поганими екстраполятивними властивостями і виходять вельми громіздкими при великій розмірності вектора входів.