Функціонування мережі
У своїй найпростішій формі прошарок Кохонена функціонує за правилом "переможець отримує все". Для даного вхідного вектора один і тільки один нейрон Кохонена видає логічну одиницю, всі інші видають нуль.
Прошарок Гросберга функціонує в схожій манері. Його вихід є зваженою сумою виходів прошарку Кохонена.
Якщо прошарок Кохонена функціонує таким чином, що лише один вихід дорівнює одиниці, а інші дорівнюють нулю, то кожен нейрон прошарку Гросберга видає величину ваги, що зв'язує цей нейрон з єдиним нейроном Кохонена, чий вихід відмінний від нуля.
У повній моделі мережі зустрічного поширення є можливість одержувати вихідні сигнали по вхідним і навпаки. Цим двом діям відповідають пряме і зворотне поширення сигналів.
Області застосування. Розпізнавання образів, відновлення образів (асоціативна пам'ять), стиснення даних (із втратами).
Недоліки. Мережа не дає можливості будувати точні апроксимації (точні відображення). У цьому мережа значно уступає мережам зі зворотним поширенням похибки. До недоліків моделі також варто віднести слабкий теоретичний базис модифікацій мережі зустрічного поширення.
Переваги:
Мережа зустрічного поширення проста. Вона дає можливість витягати статистичні властивості з множини вхідних сигналів. Кохонен довів, що для навченої мережі імовірність того, що випадково обраний вхідний вектор буде найближчим до будь-якого заданого вагового вектора, дорівнює 1/k, k - число нейронів Кохонена.
Мережа швидко навчається. Час навчання в порівнянні зі зворотним поширенням може бути в 100 разів менше.
По своїх можливостях будувати відображення мережа зустрічного поширення значно перевершує одношарові перцептрони.
Мережа корисна для застосувань, у яких потрібно швидка початкова апроксимація.
Мережа дає можливість будувати функцію і зворотну до неї, що знаходить застосування при рішенні практичних задач.
Модифікації. Мережі зустрічного поширення можуть розрізнятися способами визначення початкових значень синаптичних ваг.
Для підвищення ефективності навчання застосовується додавання шуму до вхідних векторів.
Ще один метод підвищення ефективності навчання - надання кожному нейрону "почуття справедливості". Якщо нейрон стає переможцем частіше, ніж 1/k (k - число нейронів Кохонена), то йому тимчасово збільшують поріг, даючи тим самим навчатися й іншим нейронам.
Крім "методу акредитації", при якому для кожного вхідного вектора активується лише один нейрон Кохонена, може бути використаний "метод інтерполяції", при використанні якого ціла група нейронів Кохонена, що мають найбільші виходи, може передавати свої вихідні сигнали в прошарок Гросберга. Цей метод підвищує точність відображень, реалізованих мережею.
Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
Імовірнісна нейронна мережа була розроблена Дональдом Спехтом (Donald Specht). Ця мережна архітектура була вперше представлена у двох статтях : "Імовірнісні нейронні мережі для класифікації" (Probabilistic Neural Networks for Classification) 1988, "Відображення або асоціативна пам'ять та імовірнісні нейронні мережі" (Mapping or Associative Memory and Probabilistic Neural Networks) 1990 р.
Виходи мережі можна інтерпретувати, як оцінки ймовірності належності елементу певному класу. Імовірнісна мережа вчиться оцінювати функцію густини ймовірності, її вихід розглядається як очікуване значення моделі в даній точці простору входів. Це значення пов'язане з густиною ймовірності спільного розподілу вхідних і вихідних даних.
Задача оцінки густини ймовірності відноситься до області байєсівської статистики. Звичайна статистика по заданій моделі показує, яка ймовірність того або іншого виходу (наприклад, на гральній кістці 6 очок буде випадати в середньому в одному випадку з шістьох). Байєсова статистика інтерпретує по іншому: правильність моделі оцінюється по наявних достовірних даних, тобто надає можливість оцінювати густину ймовірності розподілу параметрів моделі по наявних даних.
При рішенні задач класифікації можна оцінити густину ймовірності для кожного класу, порівняти між собою ймовірності приналежності до різних класів і обрати модель з параметрами, при яких густина ймовірності буде найбільшою.
Оцінка густини ймовірності в мережі заснована на ядерних оцінках. Якщо приклад розташований в даній точці простору, тоді в цій точці є певна густина ймовірності. Кластери з близько розташованих точок, свідчать, що в цьому місці густина імовірності велика. Поблизу спостереження є більша довіра до рівня густини, а по мірі віддалення від нього довіра зменшується і плине до нуля. В методі ядерних оцінок в точку, що відповідає кожному прикладу, поміщається деяка проста функція, потім вони всі додаються і в результаті утворюється оцінка для загальної густини імовірності. Найчастіше в якості ядерних функцій беруть дзвоноподібні функції (гаусові). Якщо є достатня кількість навчальних прикладів, такий метод дає добрі наближення до істинної густини імовірності.
Імовірнісна мережа має три прошарки: вхідний, радіальний та вихідний. Радіальні елементи беруться по одному на кожний приклад. Кожний з них містить гаусову функцію з центром в цьому прикладі. Кожному класу відповідає один вихідний елемент. Вихідний елемент з'єднаний лише з радіальними елементами, що відносяться до його класу і підсумовує виходи всіх елементів, що належать до його класу. Значення вихідних сигналів утворюються пропорційно ядерних оцінок ймовірності приналежності відповідним класам.
Рис. 8. Приклад імовірнісної нейронної мережі
Базова модель імовірнісної мережі має модифікації. Припустимо, що пропорції класів у навчальній множині відповідають їх пропорціям у всій досліджуваній вибірці (апріорна імовірність). Наприклад, якщо серед всіх людей хворими є 2%, то в навчальній множині для мережі, яка діагностує захворювання, хворих також повинно бути 2%. Якщо ж апріорні імовірності відрізняються від пропорції в навчальній виборці, мережа буде видавати невірний результат. Це можна врахувати, вводячи корегуючі коефіцієнти для різноманітних класів.
Навчання імовірнісної нейронної мережі є набагато простішим, ніж вackрropagation. Істотним недоліком мережі є її розмір, оскільки вона фактично вміщує в собі всі навчальні дані, потребує багато пам'яті і може повільно працювати.