5.2.4 Масштабування
Після передавальної функції вихідний сигнал проходить додаткову обробку масштабування, тобто результат передавальної функції множиться на масштабуючий коефіцієнт і додається зміщення.
5.25 Вихідна функція
По аналогії з біологічним нейроном, кожний штучний нейрон має один вихідний сигнал, який передається до сотень інших нейронів. Переважно, вихід прямо пропорційний результату передавальної функції. В деяких мережевих архітектурах результати передавальної функції змінюються для створення змагання між сусідніми нейронами. Нейронам дозволяється змагатися між собою, блокуючи дії нейронів, що мають слабий сигнал. Змагання (конкуренція) може відбуватись між нейронами, які знаходяться на одному або різних прошарках. По-перше, конкуренція визначає, який штучний нейрон буде активним і забезпечить вихідний сигнал. По-друге, конкуруючі виходи допомагають визначити, який нейрон візьме участь у процесі навчання.
5.2.6 Функція похибки та поширюване назад значення
У більшості мереж, що застосовують контрольоване навчання обчислюється різниця між спродукованим та бажаним виходом. Похибка відхилення (біжуча похибка) перетворюється функцією похибки відповідно заданій мережевій архітектурі. В базових архітектурах похибка відхилення використовується безпосередньо, в деяких парадигмах використовується квадрат або куб похибки зі збереженням знаку.
Після проходження всіх прошарків біжуча похибка поширюється назад до попереднього прошарку і може бути безпосередньо похибкою або похибкою, масштабованою певним чином залежно від типу мережі (наприклад, похідною від передавальної функції). Це поширюване назад значення враховується в наступному циклі навчання.
5.2.7 Функція навчання
Метою функції навчання є налаштування змінних ваг з’єднань на входах кожного елемента обробки відповідно до певного алгоритму навчання для досягнення бажаного результату. Існує два типи навчання: контрольоване та неконтрольоване. Контрольоване навчання вимагає навчальної множини даних або спостерігача, що ранжує ефективність результатів мережі. У випадку неконтрольованого навчання система самоорганізовується за внутрішнім критерієм, закладеним в алгоритм навчання.
Контрольні запитання
1 Які елементи складають розширену модель нейронного елемента?
2 Що стало підставою для деталізації моделі нейронного елемента?
3 Які сім основних компонент штучного нейрона Вам відомі?
Лекція №6
Архітектура з’єднань штучних нейронів
Об’єднуючись у мережі, нейрони утворюють системи обробки інформації, які забезпечують ефективну адаптацію моделі до постійних змін з боку зовнішнього середовища. В процесі функціонування мережі відбувається перетворення вхідного вектора сигналів у вихідний. Конкретний вид перетворення визначається як архітектурою нейромережі так і характеристиками нейронних елементів, засобами керування та синхронізації інформаційних потоків між нейронами. Важливим фактором ефективності мережі є встановлення оптимальної кількості нейронів та типів зв’язків між ними.
При описі нейромереж використовують кілька усталених термінів, які в різних джерелах можуть мати різне трактування, зокрема:
- структура нейромережі - спосіб зв’язків нейронів у нейромережі;
- архітектура нейромережі - структура нейромережі та типи нейронів;
- парадигма нейромережі - спосіб навчання та використання (іноді вміщує і поняття архітектури).
На основі однієї архітектури можуть бути реалізовані різні парадигми нейромережі і навпаки.
Серед відомих архітектурних рішень виділяють групу слабозв’язаних нейронних мереж (рис.6.1), у випадку, коли кожний нейрон мережі зв’язаний лише із сусідніми.
Рисунок 6.1 – Слабозв’язані нейромережі
Навпаки, якщо входи кожного нейрона зв’язані з виходами усіх решта нейронів, тоді мова йде про повнозв’язані нейромережі (рис.6.2).
Рисунок 6.2 – Повнозв’язані нейромережі
Зрозуміло, що такий поділ носить дещо теоретичний характер. Аналізуючи найбільш відомі на даний час розробки нейромереж, слід зазначити, що самим поширеним варіантом архітектури є багатошарові мережі. Нейрони в даному випадку об’єднуються у прошарки з єдиним вектором сигналів входів. Зовнішній вхідний вектор подається на вхідний прошарок нейронної мережі (рецептори). Виходами нейронної мережі є вихідні сигнали останнього прошарку (ефектори). Окрім вхідного та вихідного прошарків, нейромережа має один або декілька прихованих прошарків нейронів, які не мають контактів із зовнішнім середовищем (рис.6.3).
Рисунок 6.3 – Багатошаровий тип з’єднання нейронів
Зв’язки між нейронами різних прошарків називають проективними.
Зв’язки скеровані від вхідних прошарків до вихідних називаються аферентними, в інакшому випадку, при зворотному напрямку зв’язків - еферентними.
Зв’язки між нейронами одного прошарку відносять до бічних (латеральних).
Фактично, по архітектурі зв’язків, більшість відомих нейромереж, що знайшли практичне застосування, можна згрупувати у два великих класи:
- мережі прямого поширення (з односкерованими послідовними зв’язками);
- мережі зворотнього поширення (з рекурентними зв’язками).
В табл.6.1 представлені назви найбільш типових архітектур мереж, що в свою чергу мають багато модифікацій та можуть бути складниками у інших мережах.
Таблиця 6.1 - Найбільш типові архітектури нейронних мереж
Нейронні мережі |
|
Мережі прямого поширення |
Рекурентні мережі |
Перцептрони |
Мережа Хопфілда |
Мережа Back Propagation |
Мережа адаптивної резонансної теорії |
Мережа зустрічного поширення |
Двоскерована асоціативна пам’ять |
Карта Кохонена |
|
Мережі прямого поширення відносять до статичних, так як на задані входи нейронів надходить не залежний від попереднього стану мережі вектор вхідних сигналів.
Рекурентні мережі вважаються динамічними, тому що за рахунок зворотних зв’язків (петель) входи нейронів модифікуються в часі, що призводить до зміни станів мережі.
Оригінальність нейромереж, як аналога біологічного мозку, полягає у здібності до навчання за прикладами, що складають навчальну множину. Процес навчання нейромереж розглядається як налаштування архітектури та вагових коефіцієнтів синаптичних зв’язків відповідно до даних навчальної множини так, щоб ефективно вирішити поставлену задачу. Виділяють варіанти контрольованого та неконтрольованого навчання.