19. Матричная форма моро

Наиболее просто метод обратного распространения ошибки представляется в матричной форме. Прямое распространение сигнала по НС, состоящей из N слоев, описывается следующей системой уравнений:

, , …,

, , …,

, .

Вектор входного сигнала наращивается единичной компонентой, так как необходимо учитывать величину смещения в каждом слое нейронов. Обратное распространение сигнала ошибки по НС позволяет вычислить корректирующие коэффициенты с помощью следующих уравнений:

, …,

,…,

.

Коррекция весовых коэффициентов НС проводится с помощью следующих уравнений:

,…, ,

,…, ,

, .

где – коэффициент скорости обучения.

Приведенные выше уравнения являются компактной формой описания метода обратного распространения ошибки, используемого для обучения нейронных сетей. Применение данных уравнений позволяет строить модели НС с произвольным числом слоев.

Пример зависимости невязки от величины весовых коэффициентов приведен на рис.19.1. Алгоритм построения графиков: трехслойная НС была обучена распознаванию заданных образов, произвольным образом во втором и третьем слоях выбраны два весовых коэффициента, в квадратной окрестности, окружающей оптимальные значения коэффициентов, задана сеть значений коэффициентов, для которых вычислена невязка.

Рис.19.1. Графики зависимости невязки на выходе НС

от значений двух весовых коэффициентов

Приведенные графики наглядно показывают наличие минимума невязки и демонстрируют сложность исследуемой поверхности: к точке минимума сходится 4 взаимно ортогональных канала.

20. Самообучение нс методом Хебба

Алгоритм Хебба позволяет обучать НС без контроля правильности ответов. Алгоритм основан на принципе усиления связи между возбужденными нейронами. Сигнальный метод обучения Хебба корректирует весовые коэффициенты НС в соответствии со следующими формулами:

, ,

где - выходной сигнал обучаемого нейрона, - выходной сигнал нейрона предыдущего слоя, который является одним из входных сигналов обучаемого нейрона, - номер шага обучения. Из формулы видно, что наибольшие изменения претерпит та синаптическая связь, которая соединяет большие входные и выходные сигналы. В матричной форме данный алгоритм можно записать в следующем виде:

, , ,…,

, ,

.

Нейронная сеть Хебба самостоятельно определяет количество классов, на которые она разбивает поток обучающей выборки. Количество выходных линий НС должно браться с запасом, поскольку заранее количество классов неизвестно, при этом следует учитывать, что классы кодируются на выходе позиционным двоичным кодом.

Пример. Создана имитационная модель самообучаемой НС со следующими параметрами: количество слоев – 3, количество входов – 60, количество нейронов по слоям – 16, 12, 12, число эталонов – 9, количество циклов обучения – 300, скорость обучения – 0.001. В качестве обучающей выборки были взяты 9 изображений трех цифр, приведенные на рис.20.1. Разрешение изображений: 10х6. Изображения каждой цифры отличаются за счет наложенных искажений. Классификация данных изображений для человека не вызывает трудностей.

Рис.20.1. Обучающая выборка.

В результате самообучения на выходе НС сформировалось множество выходных сигналов, представленное на рис.20.2. Каждый столбик приведенной диаграммы представляет собой число, соответствующее 12-битовому числу, получаемому на выходе НС, если считать, что каждый выход соответствует определенному разряду двоичного кода числа.

Рис.20.2. Множество выходных сигналов.

Сопоставление рисунков 20.1 и 20.2 позволяет сделать заключение, что нейронная сеть абсолютно правильно осуществляет классификацию изображений цифр. Столбики 0,3,6 соответствуют различным вариантам изображения цифры «4», столбики 2,4,7,8 – «7», столбики 2,5 – «5».

Карты выходных сигналов НС приведены на рис.20.3. На горизонтальной оси карты указаны номера выходов нейронной сети от 0 до 11, а по вертикали – значения соответствующих выходов. Каждый из трех графиков соответствует одной из трех цифр. Если НС относит два изображения к одному классу, то на карте линии этих изображений сливаются для всех номеров выходов. Поскольку все значения близки по абсолютной величине к 1, то можно заключить, что 300 циклов самообучения было достаточно.

Рис.20.3. Карты выходных сигналов до и после обучения.

Карта выходных сигналов до обучения иллюстрирует несовпадение реакции НС на различные изображения одного и того же символа. После обучения эти графики сливаются в один.

Успешность самообучения зависит от начальных значений матриц весовых коэффициентов. В описываемом примере при некоторых генерациях число распознанных классов уменьшалось до двух.