11.2 Ймовірнісна нейронна мережа

Ймовірнісна нейронна мережа (рис.11.2) була розроблена Дональдом Спехтом (Donald Specht). Ця мережева архітектура була вперше представлена у двох статтях: “Ймовірнісні нейронні мережі для класифікації” (Probabilistic Neural Networks for Classification) 1988, “Відображення або асоціативна пам’ять та ймовірнісні нейронні мережі” (Mapping or Associative Memory and Probabilistic Neural Networks) 1990 р.

Виходи мережі можна інтерпретувати, як оцінки ймовірності належності елементу певному класу. Ймовірнісна мережа вчиться оцінювати функцію густини ймовірності, її вихід розглядається як очікуване значення моделі в даній точці простору входів. Це значення пов’язане з густиною ймовірності спільного розподілу вхідних і вихідних даних.

Задача оцінки густини ймовірності відноситься до області байєсівської статистики. Звичайна статистика по заданій моделі показує, яка ймовірність того або іншого виходу (наприклад, на гральній кістці 6 очок буде випадати в середньому в одному випадку з шістьох). Байєсова статистика інтерпретує по іншому: правильність моделі оцінюється по наявних достовірних даних, тобто надає можливість оцінювати густину ймовірності розподілу параметрів моделі по наявних даних.

Рисунок 11.2 – Приклад ймовірнісної нейронної мережі

При рішенні задач класифікації можна оцінити густину ймовірності для кожного класу, порівняти між собою ймовірності приналежності до різних класів і обрати модель з параметрами, при яких густина ймовірності буде найбільшою.

Оцінка густини ймовірності в мережі заснована на ядерних оцінках. Якщо приклад розташований в даній точці простору, тоді в цій точці є певна густина ймовірності. Кластери з близько розташованих точок, свідчать, що в цьому місці густина імовірності велика. Поблизу спостереження є більша довіра до рівня густини, а по мірі віддалення від нього довіра зменшується і прямує до нуля. В методі ядерних оцінок в точку, що відповідає кожному прикладу, розміщується деяка проста функція, потім вони всі додаються і в результаті утворюється оцінка для загальної густини імовірності. Найчастіше в якості ядерних функцій беруть дзвоноподібні функції (гаусові). Якщо є достатня кількість навчальних прикладів, такий метод дає добрі наближення до істинної густини імовірності.

Ймовірнісна мережа має три прошарки:

- вхідний;

- радіальний;

- вихідний.

Радіальні елементи беруться по одному на кожний приклад. Кожний з них містить гаусову функцію з центром в цьому прикладі. Кожному класу відповідає один вихідний елемент. Вихідний елемент з’єднаний лише з радіальними елементами, що відносяться до його класу і підсумовує виходи всіх елементів, що належать до його класу. Значення вихідних сигналів утворюються пропорційно до ядерних оцінок ймовірності приналежності відповідним класам.

Базова модель ймовірнісної мережі має модифікації. Припустимо, що пропорції класів у навчальній множині відповідають їх пропорціям у всій досліджуваній вибірці (апріорна ймовірність). Наприклад, якщо серед всіх людей хворими є 2%, то в навчальній множині для мережі, яка діагностує захворювання, хворих також повинно бути 2%. Якщо ж апріорні імовірності відрізняються від пропорції в навчальній виборці, мережа буде видавати невірний результат. Це можна врахувати, вводячи корегуючі коефіцієнти для різноманітних класів.

Навчання ймовірнісної нейронної мережі є набагато простішим, ніж ВackРropagation. Істотним недоліком мережі є її розмір, оскільки вона фактично вміщує в собі всі навчальні дані, потребує багато пам’яті і може повільно працювати.