32 Схема формального нейрона

Формальная модель нейрона Мак-Каллока-Питтс.

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис. 1.2 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x₁, x₂,…, x_n, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес w₁, w₂,…, w_n, и поступает на суммирующий блок, обозначенный Σ. Каждый вес соответствует «силе» одной биологической синаптической связи. (Множество весов в совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, который мы будем называть NET. В векторных обозначениях это может быть компактно записано следующим образом:

NET = XW.

В модели взвешенная сумма сигналов на входах нейрона сравнивается с пороговым значением h, и на выходе есть сигнал, если она превышает порог. В современных моделях нейронов пороговая функция в общем случае заменяется на нелинейную функцию y=f(S), называемую передаточной функцией или функцией активации нейрона.

Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень и вид функции активации F.

33. Функции активации формального нейрона, их смысл и основные виды

1, Жесткая ступенька

Используется в классическом формальном нейроне. Функция вычисляется двумя-тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат. Однако эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов обучения. Такие сети чаще формируются, т.е . их параметры рассчитываются по формулам, а не подстраиваются итеративно.

2. Логистическая функция (сигмоида, функция Ферми)

Применяется часто для многослойных прецептронов и др сетей с непрерывными сигналами. Ф-ия гладкая, непрерывная. Непрерывность первой производной позволяет использовать градиентные методы обучения.

3. Гиперболический тангенс

Также применяется для сетей с непрерывными сигналами. Ф-ия симметричная относительно точки (0,0), это преимущество по сравнению с сигмоидой. Производная непрерывна и выражается через саму функцию.

4. Пологая ступенька

Рассчитывается легко, но имеет разрывную производную, что усложняет алгоритм обучения.

5. Экспонента применяется в спец. случаях.

6. SOFTMAX функция применяется в задачах, где необходимы выходы вероятности.