1 Біологічний нейрон

Нервова система і мозок людини складаються з нейронів, які з’єднані між собою нервовими волокнами. Нервові волокна здатні передавати електричні імпульси між нейронами. Всі процеси передачі подразнень від нашої шкіри, вух і очей до мозку, процеси мислення і управління діями – все це реалізовано в живому організмі як передача електричних імпульсів між нейронами.

Нейрон (нервова клітина) є особливою біологічною клітиною, яка обробляє інформацію (рис. 1.1). Він складається з тіла і відростків нервових волокон двох типів – дендритів, по яким приймаються імпульси, і єдиного аксона, по якому нейрон може передавати імпульс. Тіло нейрона включає ядро, що містить інформацію про спадкові властивості, і плазму, що володіє молекулярними засобами для виробництва необхідних нейрону матеріалів.

Рис. 1.1. Біологічний нейрон

Нейрон одержує сигнали (імпульси) від аксонів інших нейронів через дендрити (приймачі) і передає сигнали, що згенеровані тілом клітини, уздовж свого аксона (передавача), який в кінці розгалужується на волокна. На закінченнях цих волокон знаходяться спеціальні утворення – синапси, що впливають на силу імпульсу.

Синапс – елементарний структурний і функціональний вузол між двома нейронами (волокно аксона одного нейрона і дендрит іншого). Коли імпульс досягає синаптичного закінчення, вивільняються певні хімічні речовини, які називаються нейротрансмітерами. Нейротрансмітери дифундують через синаптичну щілину, порушуючи або загальмовуючи, залежно від типу синапсу, здатність нейрона-приймача генерувати електричні імпульси. Результативність синапсу може настроюватися прохідними сигналами, так що синапси можуть навчатися залежно від активності процесів, у яких вони беруть участь. Ця залежність від передісторії працює як пам'ять, яка, можливо, відповідальна за пам'ять людини. Важливо відзначити, що вага синапсів може змінюватися з часом, що змінює і поведінку відповідного нейрона.

Контрольні питання

1. Дайте визначення біологічного нейрона

2. Наведіть структуру біологічного нейрона

3. Що таке синапс та нейротрансмітери?

2. Структура і властивості штучного нейрона

Штучний нейрон – це складова частина штучної нейронної мережі (рис. 2.1).

До складу нейрона входять помножувачі (синапси), суматор і нелінійний перетворювач. Синапси здійснюють зв'язок між нейронами і перемножають вхідний сигнал на число, яке характеризує силу зв'язку – вагу синапсу.

Рис. 2.2. Структура штучного нейрона

Суматор складає сигнали, що поступають по синаптичних зв'язках від інших нейронів, і зовнішніх вхідних сигналів. Нелінійний перетворювач реалізує нелінійну функцію одного аргументу – виходу суматора. Ця функція називається «функція активації» або «передавальна функція» нейрона. Нейрон в цілому реалізує скалярну функцію векторного аргументу. Математична модель нейрона описується співвідношеннями:

(2.1)

де: – вага синапсу ; – значення зміщення;

– компонента вхідного вектору (вхідний сигнал) ;

- результат додавання; у – вихідний сигнал нейрона;

- число входів нейрона;

- нелінійне перетворення (функція активації або передаточна функція).

У загальному випадку вхідний сигнал, вагові коефіцієнти і значення зсуву можуть приймати дійсні значення. Вихід (у) визначається видом функції активації і може бути як дійсним, так і цілим (табл.2.1). У багатьох практичних задачах входи, вага і зсуви можуть приймати лише деякі фіксовані значення.

Синаптичні зв'язки із позитивними вагами називають збуджуючими, з негативними масами – гальмуючими.

Таким чином, нейрон повністю описується своїми вагами і передаточною функцією f(s). Одержавши набір чисел (вектор) х_і, нейрон видає деяке число у на виході.

Таблиця 2.1. Перелік функцій активації нейронів

Назва	Формула	Область значень
Порогова		(0, 1)
Знакова (сигнатурна)		(-1, 1)
Сигмоїдальна (логістична)		(0, 1)
Напівлінійна		(0, )
Лінійна	f(s) = s	(-, )
Радіальна базисна (гаусівська)		(0, 1)
Гіперболічний тангенс		(-1, 1)

Описаний обчислювальний елемент (2.1) можна вважати спрощеною математичною моделлю біологічних нейронів – клітин, з яких складається нервова система людини і тварин.

Щоб підкреслити відмінність нейронів біологічних і математичних, їх іноді називають нейроноподібними елементами або формальними нейронами.

На вхідний сигнал (s) нелінійний перетворювач відповідає вихідним сигналом f(s), який є виходом нейрона у. Приклади активаційних функцій представлені у таблиці 2.1 і на рисунку. 2.3.

Однією з найпоширеніших є нелінійна функція з насиченням, так звана логістична функція або сигмоід (тобто функція S-подібного вигляду):

(2.2)

При зменшенні а сигмоід стає більш пологим, в межах при а=0 вироджуючись в горизонтальну лінію на рівні 0,5, при збільшенні а сигмоїд наближається до вигляду функції одиничного стрибка з порогом в точці s=0. Із виразу для сигмоїда очевидно, що вихідне значення нейрона лежить у діапазоні [0, 1]. Одна з цінних властивостей сигмоідної функції – простий вираз для її похідної:

(2.3)

Слід зазначити, що сигмоїдна функція диференційована на всій осі абсцис. Крім того вона має властивість посилювати слабкі сигнали краще, ніж великі, і запобігає насиченню від великих сигналів, оскільки вони відповідають областям аргументів, де сигмоїд має пологий нахил.

Рис. 2.3. Приклади активаційних функцій: а – функція одиничного стрибка;

б – лінійний поріг (гістерезис); в – сигмоїд (гіперболічний тангенс);

г – сигмоїд (логістична)

Повертаючись до загальних рис, властивих всім НМ, відзначимо принцип паралельної обробки сигналів, який досягається шляхом об'єднання великого числа нейронів у так звані шари і з'єднання певним чином нейронів різних шарів, а також, в деяких конфігураціях, і нейронів одного шару між собою, причому обробка взаємодії всіх нейронів ведеться пошарово.