6.1.3 Искусственный нейрон
Рассмотрим формализованную модель искусственного нейрона. Искусственный нейрон состоит из синапсов, каждому из которых соответствует определенный вес синаптической связи, сумматора и функции активации. Введем следующие обозначения: – входные сигналы, приходящие от других нейронов; – синаптические веса нейрона; – пороговое значение (порог); nxx,,1Knww,,1Kby - выходной сигнал нейрона; )(vϕ – функция активации. На рис. 1 схематически представлена модель искусственного нейрона.
Рисунок 1 – Искусственный нейрон
6.2 Архитектура сетей
6.2.1 Однослойные сети прямого распространения
Однослойная сеть прямого распространения представляет собой частный случай многослойной сети. Такая сеть состоит из узлов источника информации и одного слоя нейронов, который является одновременно входным слоем и выходным (рис. 2).
Рисунок 2 - Однослойная сеть прямого распростронения
Такие сети называют сетями прямого распространения или ациклическими сетями.
6.2.2 Многослойные сети прямого распространения
Многослойные сети прямого распространения характеризуются наличием одного или нескольких скрытых слоев (рис. 3).
Рисунок 3 - Многослойная сеть прямого распространения
Узлы скрытых слоев называются скрытыми нейронами. Добавляя один или несколько скрытых слоев можно выделить глобальные закономерности в данных, что особенно существенно при большой размерности входных данных.
В многослойных сетях прямого распространения сигнал распространяется послойно: узлы источника формируют входной сигнал для первого (входного) слоя нейронов, выходной сигнал первого слоя нейронов используется в качестве входного сигнала для второго (скрытого) слоя нейронов и т. д. вплоть до последнего (выходного) слоя нейронов.
Сеть, в которой каждый нейрон скрытого слоя соединяется со всеми нейронами соседних слоев, называется полносвязной. Если некоторые синаптические связи отсутствуют, сеть называется неполносвязной.
6.2.3 Рекуррентные сети
Рекуррентные сети отличаются от сетей прямого распространения наличием, по крайней мере, одной обратной связи. На рисунке 4 показана архитектура простейшей рекуррентной сети.
Рисунок 4 - Рекуррентная сеть
Здесь – это оператор единичной задержки. В общем случае оператор задержки определяется следующим образом: 1−z , (7.13) lnnlyyz−−=)(
где и – значения nylny−y на и nln− шаге соответственно.
6.3 Представление знаний
Под знаниями понимается хранимая информация и модели, используемые интерпретации, предсказания и реакции на внешние события.
Различают два вида знаний:
- априорная информация, состоящая из достоверных фактов об окружающей среде;
- наблюдения за окружающим миром.
Успех построения реального нейросетевого решения в значительной мере зависит от правильности представления знаний. Вопрос представления знаний в нейронных сетях является очень сложным, однако можно выделить несколько правил.
Правило 1. Сходные входные сигналы должны классифицироваться как относящиеся к одному классу. В качестве меры схожести двух входных сигналов []TimiixxxK1= и , представляющих некоторые точки в пространстве можно использовать эвклидово расстояние между ними. Эвклидово расстояние между парой векторов определяется как:
Правило 2. это правило полностью противоположно первому, оно гласит, что элементы, отнесенные к различным классам, должны иметь максимально различные представления.
Правило 3. Если некоторое свойство имеет большое значение, то для его представления следует использовать большее количество нейронов. Однако это правило следует применять с осторожностью, так как чрезмерное увеличение количества нейронов может привести к тому, что сеть запомнит некоторый набор примеров из множества доступных измерений, но не сможет выделить закономерности в данных.
Правило 4. В структуру сети должна быть встроена априорная информация об окружающей среде. Это обеспечивает специализацию сети и существенно ускоряет процесс обучения.