Лінійна функція активації з насиченням Лінійна передавальна функція

Сигнал на виході нейрона лінійно пов'язаний із ваговою сумою сигналів на його вході.

, де t - параметр функції. В штучних нейронних мережах із шаруватою структурою, нейрони з передавальними функціями такого типу, як правило, складають вхідний шар. Крім простої лінійної функції можуть бути використовуватись також її модифікації. Наприклад напівлінійна функція (якщо її аргумент менше нуля, то вона дорівнює нулю, а в інших випадках, поводить себе як лінійна) або крокова (лінійна функція з насиченням), яку можна виразити формулою ^[9]:

При цьому можливий зсув функції по обох осях (як зображено на малюнку).

Недоліками крокової і напівлінійних активаційних функцій щодо лінійної можна назвати те, що вони не є диференційовними на всій числової осі, а отже не можуть бути використані при навчанні за деякими алгоритмам.

Порогова передавальна функція

Порогова функція активації

Інша назва - Функція Хевісайда. Являє собою перепад. До тих пір поки зважений сигнал на вході нейрона не досягає певного рівня  - сигнал на виході дорівнює нулю. Як тільки сигнал на вході нейрона перевищує зазначений рівень - вихідний сигнал стрибкоподібно змінюється на одиницю. Найперший представник шаруватих штучних нейронних мереж- перцептрон ^[10] складався виключно з нейронів такого типу ^[4]. Математична запис цієї функції виглядає так:

Тут   - зсув функції активації щодо горизонтальної осі, відповідно під   слід розуміти зважену суму сигналів на входах нейрона без урахування цього доданку. З огляду на те, що ця функція не є диференційовною на всій осі абсцис, її не можна використовувати в мережах, що навчаються за алгоритмом зворотного поширення помилки та іншим алгоритмам, що вимагають диференційованої передавальної функції.

Сигмоїдальна передавальна функція

Один з найбільш часто використовуваних, на даний момент, типів передавальних функцій. Введення функцій сигмоїдального типу було обумовлене обмеженістю нейронних мереж з порогової функцією активації нейронів - за такої функції активації будь-якоий з виходів мережі або дорівнює нулю, або одиниці, що обмежує використання мереж не в задачах класифікації. Використання сигмоїдальних функцій дозволило перейти від бінарних виходів нейрона до аналогових^[11]. Функції передачі такого типу, як правило, властиві нейронам, що знаходяться у внутрішніх шарах нейронної мережі.

Сигмоїдна функція активації

17.4. Обґрунтованість застосування нейромереж

Нейромережі не можна вважати рішенням для всіх обчислювальних проблем. Традиційні комп'ютери та обчислювальні методи є ідеальними для багатьох застосувань. Сучасні цифрові обчислювальні машини перевершують людину по здатності робити числові і символьні обчислення. Однак людина може без зусиль вирішувати складні задачі сприйняття зовнішніх даних (наприклад, впізнавання людини в юрбі по його обличчю) з такою швидкістю і точністю, що наймогутніший у світі комп'ютер у порівнянні з ним здається безнадійним тугодумом. У чому причина настільки значного розходження в їхній продуктивності?