Контрольні питання

1. Які мають виконуватись умови, щоб шаблонний шар RBF був радіально-семитричними?

2. Як визначаються центри радіальних елементів RBF?

3. Переваги і недоліки RBF.

11. Ймовірнісна нейронна мережа (pnn)

Задача оцінки густини ймовірності за наявними даними має давню історію в математичній статистиці. Звичайно при цьому передбачається, що густина має деякий певний вигляд (частіше всього – що вона має нормальний розподіл). Після цього оцінюються параметри моделі. Нормальний розподіл часто використовується тому, що тоді параметри моделі (середнє і стандартне відхилення) можна оцінити аналітично.

Інший підхід до оцінки густини ймовірності оснований на так званих ядерних оцінках. Можна міркувати так: той факт, що спостереження розташоване в даній точці простору, свідчить про те, що в цій точці є деяка густина ймовірності. Кластери з близьких точок вказують на те, що в цьому місці густина ймовірності велика. Поблизу спостереження є більше довіри до рівня густини, а по мірі віддалення від нього довіра зменшується до нуля. У методі ядерних оцінок в точці, відповідно кожному спостереженню, розміщається деяка проста функція, потім всі вони складаються і в результаті виходить оцінка для загальної густини ймовірності. Частіше за все як ядерні функції беруться гауссівські функції (з формою дзвону). Якщо навчальних прикладів достатня кількість, то такий метод дає достатньо хороше наближення до істинної густини ймовірності.

Метод апроксимації густини ймовірності за допомогою ядерних функцій багато в чому схожий на метод радіальних базисних функцій, і таким чином ми природно приходимо до понять ймовірнісної нейронної мережі (PNN) і узагальнено-регресійної нейронної мережі (GRNN).

PNN-мережі призначені для задач класифікації, а GRNN – для задач регресії. Мережі цих двох типів є реалізацією методів ядерної апроксимації, оформлених у вигляді нейронної мережі.

Мережа PNN має щонайменше три шари: вхідний, радіальний і вихідний. Радіальні елементи беруться по одному на кожне навчальне спостереження. Кожний з них представляє гауссівську функцію з центром у цьому спостереженні. Кожному класу відповідає один вихідний елемент. Кожний такий елемент сполучений зі всіма радіальними елементами, що відносяться до його класу, а зі всією рештою радіальних елементів він має нульове з'єднання. Таким чином, вихідний елемент просто складає відгуки всіх елементів, що належать до його класу. Значення вихідних сигналів виходять пропорційними ядерним оцінкам ймовірності належності відповідним класам, і, пронормувавши їх на одиницю, ми одержуємо остаточні оцінки ймовірності приналежності певним класам.

Вихід такої мережі, відповідний якому-небудь класу:

(11.1)

де: – розмірність вхідного вектора,

N – об'єм навчальної вибірки,

X – елемент (вектор) цієї вибірки, відповідний відзначеному класу.

Базова модель PNN-мережі може мати дві модифікації. Ймовірнісна нейронна мережа має єдиний управляючий параметр навчання, значення якого повинно вибиратися користувачем – відхилення гауссівськоої функції (параметр згладжування). Як і у випадку RBF-мереж, цей параметр вибирається з тих міркувань, щоб «вершини» певне число раз перекривались: вибір дуже маленьких відхилень призведе до «гострих» апроксимуючих функцій і нездатності мережі до узагальнення, а при дуже великих відхиленнях втрачатимуться деталі. Необхідне значення нескладно знайти експериментальним шляхом, підбираючи його так, щоб контрольна помилка була якомога меншою. При цьому, PNN-мережі не дуже чутливі до вибору параметра згладжування.

Переваги PNN-мереж полягають у тому, що вихідне значення має трактування (і тому його легше інтерпретувати) ймовірності, і в тому, що мережа швидко навчається. При навчанні такої мережі час витрачається практично тільки на те, щоб подавати їй на вхід навчальні приклади, і мережа працює настільки швидко, наскільки це взагалі можливо.

Істотним недоліком таких мереж є їх розмір. PNN-мережа фактично вміщає в себе всі навчальні дані, тому вона вимагає багато пам'яті і може повільно працювати.

PNN-мережі особливо корисні при пробних експериментах (наприклад, коли потрібно вирішити, які з вхідних змінних використовувати), оскільки завдяки короткому часу навчання можна швидко виконати велику кількість пробних тестів.