Нейрон с векторным входом

Нейрон с одним входным вектором из R элементов показан на рис. Элементы вектора умножаются на веса и взвешенные значения суммируются. Нейрон имеет смещение b, которое суммируется с взвешенным входом, образуя аргумент n функции передачи f.

Нейрон показан на рис.

За счет функции передачи hardlimit персептрон обладает способностью классифицировать входные вектора путем деления входного пространства признаков на две области. Так, выход будет равен 0, если если вход меньше 0, или 1, если вход больше или равен 0. Входное пространство персептрона с двумя входами, весами и смещением показано на рис.

Две области классификации образуются с помощью разделяющей линии L на Wp+b=0 . Эта линия перпендикулярна весовой матрице W и перемещается в соответствии со смещением b. Входные вектора над и слева от линии L будут соответствовать входным величинам больше 0 и поэтому за счет пороговой функции приведут к выходу, равному 1. Входные вектора ниже и правее линии L приведут к выходу, равному 0.

Многослойные нейронные сети

Сеть может иметь несколько слоев, каждый из которых имеет матрицу весов W, вектор смещений b и выходной вектор a. Использование слоевых обозначений показано на рис. трехслойной сети.

На рисунке R1 входовs, S1 нейронов в 1 слое, S2 нейронов во 2 слое и т.д. Разные слои имеют разное число нейронов. Каждый вход связан со смещением для каждого нейрона.

Выходы каждого внутреннего слоя являются входами следующего слоя. Thus layer 2 can be analyzed as a one-layer network with S1 inputs, S2 neurons, and an S2 × S1 weight matrix W2. The input to layer 2 is a1; the output is a2. Now that all the vectors and matrices of layer 2 have been identified, it can be treated as a single-layer network on its own. This approach can be taken with any layer of the network.

Слои многослойнойThe layers of a multilayer network play different roles. A layer that produces the network output is called an output layer. All other layers are called hidden layers. The three-layer network shown earlier has one output layer (layer 3) and two hidden layers (layer 1 and layer 2). Some authors refer to the inputs as a fourth layer. This toolbox does not use that designation.

The architecture of a multilayer network with a single input vector can be specified with the notation R − S1 − S2 −...− SM, where the number of elements of the input vector and the number of neurons in each layer are specified.

The same three-layer network can also be drawn using abbreviated notation.

Multiple-layer networks are quite powerful. For instance, a network of two layers, where the first layer is sigmoid and the second layer is linear, can be trained to approximate any function (with a finite number of discontinuities) arbitrarily well. This kind of two-layer network is used extensively in Multilayer Neural Networks and Backpropagation Training.

Here it is assumed that the output of the third layer, a3, is the network output of interest, and this output is labeled as y. This notation is used to specify the output of multilayer networks.