17.2. Нейрон. Штучний нейрон. Принцип роботи

Біологічний нейрон складається з тіла, діаметром від 3 до 100 мкм, що містить ядро (з великою кількістю ядерних пор) та інші органели (у тому числі сильно розвинений шорсткий ЕПР з активними рибосомами, апарат Гольджі), і відростків. Виділяють два види відростків. Аксон - зазвичай довгий відросток, пристосований для проведення збудження від тіла нейрона. Дендрити - як правило, короткі і сильно розгалужені відростки, які служать головним місцем утворення збуджуючих і гальмівних синапсів (різні нейрони мають різне співвідношення довжини аксона і дендритів). Нейрон може мати кілька дендритів і зазвичай тільки один аксон. Один нейрон може мати зв'язки з десятками тисяч інших нейронів. Кора головного мозку людини містить десятки мільярдів нейронів.

Штучний нейрон (Математичний нейрон Маккалока - Піттса, Формальний нейрон) - вузол штучної нейронної мережі, що є спрощеною моделлю природного нейрона. Математично, штучний нейрон зазвичай представляють як деяку нелінійну функцію від єдиного аргументу - лінійної комбінації всіх вхідних сигналів. Цю функцію називаютьфункцією активації або функцією спрацьовування,передавальною функцією. Отриманий результат посилається на єдиний вихід. Такі штучні нейрони об'єднують в мережі - з'єднують виходи одних нейронів з входами інших. Штучні нейрони та мережі є основними елементами ідеального нейрокомп'ютеру.

Принцип роботи

Схема штучного нейрону 1. Нейрони, вихідні сигнали яких надходять на вхід даного нейрону 2. Суматор вхідних сигналів 3. Обчислювач передавальної функції 4. Нейрони, на входы яких подається сигнал даного нейрону 5.   — ваги вхідних сигналів

Математично нейрон являє собою ваговий суматор, єдиний вихід якого визначається через його входи і матрицю ваг наступним чином:

, де 

Тут   і   - відповідно сигнали на входах нейрона і ваги входів, функція u називається індукованим локальним полем, а f(u) - передавальною функцією. Можливі значення сигналів на входах нейрона вважають заданими в інтервалі  . Вони можуть бути або дискретними (0 або 1), або аналоговими. Додатковий вхід   і відповідна йому вага використовується для ініціалізації нейрона ^[7]. Під ініціалізацією мається на увазі зсув активаційної функції нейрона по горизонтальній осі, тобто формування порогу чутливості нейрона ^[4]. Крім того, іноді до виходу нейрона спеціально додають якусь випадкову величину, яка називається зсувом. Зсув можна розглядати як сигнал на додатковому, завжди навантаженому, синапсі.

17.3. Активаційна функція та її різновиди

Передавальна функція f (u) визначає залежність сигналу на виході нейрона від зваженої суми сигналів на його входах. У більшості випадків вона є монотонно зростаючою і має область значень   або  , проте існують виключення. Також для деяких алгоритмів навчання мережі необхідно, щоб вона була безперервно диференційовною на всій числової осі ^[7]. Штучний нейрон повністю характеризується своєю передавальної функцією. Використання різних передавальних функцій дозволяє вносити нелінійність в роботу нейрона і в цілому нейронної мережі.

Основні типи передавальних функцій