13. Нейронные сети.

Понятие нейрона.

Искусственные нейросети чрезвычайно разнообразны по своей архитектуре, и в настоящее время создано более 20 их парадигм (исходных концептуальных схем нейронной сети). Все они имеют простой общий базовый элемент – искусственный нейрон (рис.15), который имитирует свойства своего биологического родителя.

W₃

W₂

W₁

W_n

X₁

X₂

X₃

X_n

Входы

Синапсы (веса)

Сумматор

Выход

Y

Рис.15. Модель нейрона

На вход искусственного нейрона подается набор входных сигналов x₁, x₂,…, x_n (входной вектор X), представляющий собой входные сигналы других нейроподобных элементов или входные сигналы нейросети. Каждый входной сигнал умножается на соответствующий вес связи w₁, w₂, …, w_n – аналог эффективности синапса. Взвешенные весами связей, входные сигналы поступают на блок суммации (по своей сути являющийся аналогом тела клетки в биологическом нейроне), где вычисляется их алгебраическая сумма и определяется уровень возбуждения нейрона S:

где - порог возбуждения нейрона. Затем над уровнем возбуждения S производится необходимое нелинейное преобразование:

Эта функция называется активационной, примеры таких функций приведены на рис.16-18.

Рис.16. Линейная функция активации с насыщением

Рис.17. Пороговая функция активации

Рис.18. Сигмоидальная функция активации

Наиболее часто на практике применятся сигмоидоидальная (логистическая) функция вида:

Эта функция позволяет работать как со слабыми возбуждениями (значения около 0), так и с большими уровнями возбуждения нейрона. При сильных уровнях сигнала происходит насыщение активационный функции (состояние нейрона, при котором значительное изменение параметров входа приводит к очень малым изменениям параметров выхода), и таким образом, нейрон функционирует в широком диапазоне входных сигналов. Коэффициент определяет крутизну сигмоида.

Нелинейность функции активации F(S) очень важна и принципиальна; если бы нейроны были линейными элементами (использовали линейную функцию активации), то любая последовательность нейронов также производила бы линейное преобразование и вся нейросеть была бы эквивалентна одному нейрону (или одному слою нейронов – в случае нескольких выходов). Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности нейросети существенно выше возможностей отдельных нейронов.

Структуры нейронных сетей. Однослойные, многослойные, персепртон розенблатта, нс с обратными связями

1. Многослойная нейронная сеть

Как и человеческий мозг, нейросеть состоит из множества простейших элементов – нейронов, взаимодействующих друг с другом. Именно их совокупность обеспечивает уникальность свойств нейронных сетей, таких как способность к обобщению, работа с зашумленными и неполными данными и др.

Среди всего разнообразия архитектур нейронных сетей наибольшее распространение получили многослойные.

В такой архитектуре нейроны объединены в так называемые слои. Под слоем понимается совокупность нейронов, выходы которых соединены с выходами нейронов предыдущего слоя, а в свою очередь, выходы нейронов этого слоя являются выходами для следующего слоя. Обычно слоистые сети являются полно связанными, т.е. выходы каждого нейрона слоя связаны со всеми выходами нейронов предыдущего слоя. Пример двухслойной полно связанной нейросети приведен на рис.19.

Рис.17. Двухслойная нейронная сеть

Неполносвязанные нейросети являются частным случаем. Отсутствие связи эквивалентно нулевому коэффициенту веса связи.