Описание архитектур нейронных сетей

Существует достаточно много вариаций архитектуры нейронных сетей, но все они базируются на следующих параметрах:

- количество слоев:

- однослойные;

- многослойные;

- наличие обратных связей:

- прямого распространения;

- рекуррентные;

- полнота связей:

- полносвязные;

- неполносвязные;

- однородность активационной функции для нейронов:

- гомогенные;

- гетерогенные;

- вид активационной функции:

- единичного скачка;

- линейного порога;

- сигмоид;

- гиперболический тангенс;

- другие;

- вид результата:

- бинарные;

- аналоговые.

В общем случае можно выделить три фундаментальных класса нейросетевых архитектур [4].

Однослойные сети прямого распространения

В многослойной нейронной сети нейроны располагаются по слоям. В простейшем случае в такой сети существует входной слой узлов источника, информа­ция от которого передается на выходной слой нейронов, но не наоборот. Такая сеть называется сетью прямого распространения или ацикличной сетью. На рисунке 1.4 показана структура такой сети для случая четырех узлов в каждом из слоев (входном и выходном). Такая нейронная сеть называется однослойной, при этом под единственным сло­ем подразумевается слой вычислительных элементов. При подсчете числа слоев мы не принимаем во внимание узлы источника, так как они не выполняют ни­каких вычислений [4].

Рисунок 1.4 - Однослойная сеть прямого распространения.

Многослойные сети прямого распространения

Другой класс нейронных сетей прямого распространения характеризуется наличием одного или нескольких скрытых слоев, узлы которых называются скры­тыми нейронами, или скрытыми элементами. Функция последних заключается в посредничестве между внешним входным сигналом и вы­ходом нейронной сети. Добавляя один или несколько скрытых слоев, мы можем выделить статистики высокого порядка. Такая сеть позволяет выделять глобальные свойства данных с помощью локальных соединений за счет наличия дополнительных синаптических связей и повышения уровня взаимодействия нейронов. Способ­ность скрытых нейронов выделять статистические зависимости высокого порядка особенно существенна, когда размер входного слоя достаточно велик.

Узлы источника входного слоя сети формируют соответствующие элементы шаб­лона активации (входной вектор), которые составляют входной сигнал, поступающий на нейроны (вычислительные элементы) второго слоя (т.е. первого скрытого слоя). Выходные сигналы второго слоя используются в качестве входных для третьего слоя и т.д. Обычно нейроны каждого из слоев сети используют в качестве входных сиг­налов выходные сигналы нейронов только предыдущего слоя. Набор выходных сиг­налов нейронов выходного (последнего) слоя сети определяет общий отклик сети на данный входной образ, сформированный узлами источника входного (первого) слоя. Сеть, показанная на рисунке 1.5, называется сетью 10-4-2, так как она имеет 10 входных, 4 скрытых и 2 выходных нейрона. В общем случае сеть прямого распространения с m входами, h₁ нейронами первого скрытого слоя, h₂ нейронами второго скрытого слоя и q нейронами выходного слоя называется сетью m — h₁ — h₂ — q.

Нейронная сеть, показанная на рисунке 1.5, считается полносвязной в том смысле, что все узлы каждого конкретного слоя соединены со всеми узлами смежных слоев. Если некоторые из синаптических связей отсутствуют, такая сеть называется неполносвязной [4].

Рисунок 1.5 - Двухслойная сеть прямого распространения.