1.3.4. Обучение нейронных сетей

Существует множество способов построения нейронных сетей. Они различаются своей архитектурой и методами обучения.

Первый шаг в проектировании нейронной сети состоит в ее обучении желаемому поведению. Это - фаза обучения. Для этого используется так называемая обучающая выборка или учитель. Учитель - это либо математическая функция, либо лицо, которое оценивает качество поведения нейронной сети. Поскольку нейронные сети в основном используются в сложных применениях, где нет хороших математических моделей, то обучения производится с помощью обучающей выборки, то есть эталонных пар <входы-выходы>.

После завершения обучения нейронная сеть готова к использованию. Это - рабочая фаза. В результате обучения нейронная сеть будет вычислять выходные сигналы, близкие к эталонным данным при соответствующих входных сигналах. При промежуточных входных сигналах сеть аппроксимирует необходимые выходные величины. Поведение нейронной сети в рабочей фазе детерминировано, то есть для каждой комбинации входных сигналов на выходе всегда будут одни и те же сигналы. На протяжение рабочей фазы нейронная сеть не обучается. Это очень важно для большинства технических применений, поскольку система не будет стремиться к экстремальному поведению.

Собаки Павлова. Как же обучается нейронная сеть? Как правило, это демонстрируется на примере известных собак Павлова. Когда он показывал собакам еду, у них выделялась слюна. В собачьих клетках устанавливались звоночки. Когда звонил звоночек, у собак не выделялась слюна, т. е. они не видели связи между звонком и едой. Тогда Павлов стал обучать собак иначе, каждый раз используя звоночек при предъявлении пищи. После этого, даже при отсутствии еды, наличие звоночка вызывало у собак слюну.

На рис. 1.13 показано, как простая модель нейрона может быть представлена на примере собаки Павлова. Имеется два входных нейрона: один из них соответствует тому, что собака видит пищу, другой - наличию звонка. Оба входных нейрона имеют связи с выходным нейроном. Эти связи соответствуют синапсам, а толщина линий - весам синапсов. Перед обучением собака реагирует лишь на еду, но не на звонок. Следовательно, линия между левым входным и выходным нейронами является жирной, в то время как линия между правым входным и выходным нейронами является очень тонкой.

Рис. 1.13. Принцип эксперимента Павлова над собаками.

Правило обучения Хебба. Совершенно очевидно, что звонок при предъявлении пищи вырабатывает ассоциацию между ним и едой. Следовательно, правая линия также становится толще, поскольку увеличивается вес синапса. На основании этих наблюдений Хебб в 1949 году предложил следующее обучающее правило:

Увеличивать вес активного входа нейрона, если выход этого нейрона должен быть активным.

Уменьшить вес активного входа нейрона, если выход этого нейрона не должен быть активным.

Это правило, названное правилом Хебба, предшествует всем обучающим правилам, включая наиболее используемый в настоящее время метод обратного распространения ошибки (error backpropagation algorithm).