6.1.2. Обучение нейронной сети
Для поиска неизвестных параметров, обеспечивающих адекватность нейронной сети данным эксперимента, был использован метод обратного распространения ошибки (back-propagation method) [12,79]. Каждая итерация процедуры обучения состоит из двух этапов - прямого и обратного хода.
Алгоритм прямого хода
1°
Вычислить суммарный взвешенный входной
сигнал 
каждого
нейрона текущего слоя m:
(6.8)
2°
Вычислить выходной сигнал 
каждого
нейрона текущего слоя:
(6.9)
3° Если текущий слой - не выходной, то перейти к следующему слою и повторить процедуры с п.1°.
4° Вычислить погрешность Q нейронной сети:
(6.10)
где 
-
эталонное значение выхода j-го
нейрона выходного слоя,
-
число нейронов выходного слоя.
Алгоритм обратного хода
1° Определить скорость изменения погрешности при изменении выходного сигнала для каждого нейрона выходного слоя (EA):
(6.11)
2° Определить скорость изменения погрешности при изменении суммарного входного сигнала каждого нейрона текущего слоя (EI):
(6.12)
3° Определить скорость изменения погрешности при изменении веса на входной связи каждого нейрона текущего слоя (EW):
(6.13)
4° Определить скорость изменения погрешности при изменении активности нейрона предыдущего слоя (EA):
(6.14)
5° Провести модификацию межнейронных связей по правилу градиента:
(6.15)
где m - скорость обучения (шаг итерации);
t - номер шага обучения.
Перейти к следующему слою.
6° Если данный слой не является входным, все процедуры повторить с шага 2.
Обучение продолжается до тех пор, пока не будет достигнута приемлемая погрешность.
6.1.3. Компьютерные эксперименты
При исследовании возможности идентификации нелинейных объектов нейронными сетями обучающая выборка генерировалась из априори заданной нелинейной модели-эталона. При помощи обучающей выборки определялись параметры нейронной сети. Полученная модель нелинейного объекта сравнивалась с эталонной моделью.
Эксперимент 1. Нелинейный объект-эталон представлен в виде:
, x m [0,1]
. (6.16)
и имеет форму, изображенную на рис.6.3 сплошной линией. Нейронная сеть-аппроксиматор, соответствующая данному объекту, изображена на рис.6.4, и является полносвязанной сетью, т. е. обладает свойством полной взаимосвязи нейронов соседних слоев при отсутствии связей в слое. Структура сети: первый слой - 7 нейронов (7 разрядов двоичного кода входной переменной); второй слой (память сети) - 10 нейронов; третий слой - 7 нейронов. Вид исследуемой модели до обучения сети-аппроксиматора изображен пунктиром на рис.6.3а, а после обучения, на рис.6.3б.
а)
б)
Рис.6.3 Внешний вид
модели и эталона: а - до обучения; б -
после обучения
-
эталон
-
модель
В табл. 6.1 и 6.2 приведены весовые коэффициенты сети, которые установились после обучения.
Рис.6.4
Нейронная сеть-аппроксиматор объекта
(6.16)
В проведенном эксперименте обучающая выборка состояла из 51 пары вход-выход. Обучение нейронной сети было проведено за 12000 обучающих циклов.
Таблица 6.1.
Веса
межнейронных связей входного (
)
и промежуточного (
)
слоев
|
|
|
|
|
|
|
|
|
0.34 |
-2.87 |
-4.53 |
1.13 |
-2.61 |
8.51 |
-10.04 |
|
0.74 |
-0.53 |
-0.45 |
-7.35 |
-3.15 |
5.13 |
-8.25 |
|
0.62 |
1.23 |
-2.78 |
-2.14 |
-8.37 |
5.11 |
-5.66 |
|
0 |
1.88 |
0.51 |
-0.40 |
-9.87 |
6.00 |
-4.98 |
|
0.65 |
-1.75 |
-0.97 |
3.61 |
-9.41 |
5.60 |
-3.72 |
|
0.31 |
-2.09 |
-2.03 |
-9.48 |
4.95 |
6.20 |
-5.73 |
|
0.44 |
3.87 |
-3.11 |
-3.35 |
-2.74 |
-1.75 |
-2.25 |
|
0.50 |
-0.07 |
3.61 |
5.53 |
-5.47 |
3.29 |
-1.32 |
|
0.94 |
-3.62 |
-5.26 |
2.12 |
-3.91 |
-1.0 |
-2.85 |
|
0.54 |
0.99 |
0.59 |
0.81 |
0.66 |
0.67 |
0.18 |
Таблица 6.2.
Веса
межнейронных связей промежуточного
(
)
и выходного (
)
слоев
|
|
|
|
|
|
|
|
|
|
|
|
0,40 |
-2,11 |
-2,15 |
0,58 |
-0,26 |
1,28 |
1,93 |
0,04 |
0,26 |
-0,92 |
|
1,95 |
1,71 |
2,38 |
0,26 |
-2,02 |
-2,70 |
1,38 |
0,93 |
0,01 |
-0,62 |
|
1,50 |
-2,97 |
-0,04 |
0,60 |
-1,27 |
0,21 |
1,19 |
1,26 |
2,01 |
-1,02 |
|
1,25 |
1,31 |
1,85 |
4,42 |
-0,41 |
-5,47 |
-5,32 |
-4,72 |
-0,16 |
3,57 |
|
3,69 |
4,13 |
1,48 |
-5,36 |
-5,94 |
-2,60 |
3,86 |
4,53 |
3,29 |
-2,16 |
|
4,34 |
6,79 |
2,34 |
-2,68 |
-3,59 |
-6,17 |
-4,65 |
0,34 |
-0,05 |
4,66 |
|
-4,52 |
-7,71 |
-3,59 |
3,00 |
4,61 |
6,27 |
2,54 |
0 |
-3,27 |
4,19 |
Эксперимент 2. Нелинейный объект-эталон представлен в виде:
,
, 
, 
,
(6.17)
и имеет форму, изображенную на рис.6.5а.
Нейронная сеть-аппроксиматор, соответствующая данному объекту, изображена на рис.6.6, и также является полносвязанной сетью. Структура сети: первый слой - 12 нейронов (по 6 разрядов двоичного кода на каждую входную переменную); второй слой (память сети) - 15 нейронов; третий слой - 7 нейронов (6 разрядов - цифровые, 1 - знаковый). Вид исследуемой модели до обучения сети-аппроксиматора изображен на рис.6.5б, после обучения - рис.6.5в.
В табл. 6.3 и 6.4 приведены весовые коэффициенты сети, которые установились после обучения.
В проведенном эксперименте обучающая выборка состояла из 168 пар вход-выход. Обучение нейронной сети было проведено за 67000 обучающих циклов.
Таблица 6.3.
Веса межнейронных связей входного ( ) и промежуточного ( ) слоев
|
|
|
|
|
|
|
|
|
|
|
|
|
|
-7,71 |
1,64 |
3,87 |
-6,42 |
5,93 |
-7,77 |
-1,86 |
1,58 |
3,38 |
-2,59 |
3,29 |
-7,91 |
|
4,69 |
-3,62 |
-4,18 |
2,74 |
7,32 |
2,49 |
3,58 |
8,63 |
-4,88 |
5,47 |
-8,64 |
-0.77 |
|
2,45 |
10,09 |
-7,48 |
14,44 |
-5,97 |
-1,01 |
-6,55 |
2,13 |
1,30 |
-1,23 |
-8,40 |
-2,81 |
|
-5,37 |
-2,29 |
-4,41 |
-0,38 |
4,17 |
-0,34 |
5,68 |
2,81 |
-15,18 |
3,82 |
2,48 |
-1,39 |
|
3,16 |
1,31 |
-14,66 |
-1,22 |
-1,66 |
-4,19 |
-5,23 |
-4,46 |
-7,22 |
-1,52 |
-1,42 |
-2,29 |
|
-0,94 |
1,03 |
-6,80 |
-4,62 |
-0,08 |
-2,27 |
1,83 |
6,34 |
-11,07 |
4,54 |
6,59 |
1,86 |
|
-9,17 |
5,85 |
-2,40 |
5,32 |
2,22 |
-2,17 |
-2,04 |
-2,17 |
-2,92 |
2,99 |
-7,20 |
-4,25 |
|
-5,16 |
-9,35 |
-6,67 |
4,26 |
6,59 |
-4,18 |
-4,28 |
-0,88 |
8,02 |
-5,55 |
1,54 |
2,43 |
|
-6,28 |
-9,09 |
-2,28 |
-1,87 |
-0,31 |
-1,40 |
-2,89 |
4,43 |
-3,34 |
2,77 |
-3,16 |
-5,72 |
|
-0,59 |
6,99 |
10,99 |
-3,11 |
-5,00 |
-0,40 |
-10,08 |
1,77 |
-9,87 |
1,09 |
2,77 |
2,31 |
|
-11,22 |
2,77 |
-5,51 |
-0,35 |
1,30 |
-3,68 |
12,20 |
3,55 |
-2,52 |
1,12 |
1,55 |
4,63 |
|
1,00 |
0,10 |
-6,46 |
-6,54 |
-2,85 |
-3,22 |
5,33 |
0,57 |
1,68 |
-3,89 |
-1,61 |
-4,80 |
|
3,39 |
0,30 |
0,70 |
-4,36 |
3,47 |
0,25 |
-2,59 |
-2,87 |
-4,16 |
-4,85 |
-7,96 |
-8,59 |
|
0,64 |
0,71 |
4,99 |
4,79 |
-1,59 |
1,01 |
1,08 |
-7,51 |
-11,16 |
-7,28 |
-4,81 |
-4,15 |
|
0,93 |
0,27 |
0,72 |
0,68 |
0,07 |
0,39 |
0,99 |
0,66 |
0,06 |
0,99 |
0,88 |
0,87 |
Рис.6.5
Внешний вид эталона (а) и модели: (б) - до
обучения; (в)- после обучения
Таблица 6.4.
Веса межнейронных связей промежуточного ( ) и выходного ( ) слоев
|
|
|
|
|
|
|
|
|
7,78 |
3,63 |
4,62 |
0,67 |
1,06 |
4,34 |
-0,03 |
|
0 |
0,71 |
-1,63 |
-6,19 |
-6,55 |
2,54 |
4,10 |
|
-3,53 |
-2,55 |
-2,94 |
3,09 |
10,22 |
-2,76 |
-9,27 |
|
-2,53 |
-1,45 |
-5,70 |
-3,18 |
-2,11 |
4,61 |
8,92 |
|
-6,93 |
-2,16 |
-7,17 |
-11,96 |
-9,88 |
-6,39 |
-3,31 |
|
-11,68 |
-5,72 |
-7,99 |
-1,09 |
-0,28 |
-2,66 |
3,79 |
|
-11,39 |
-6,10 |
-9,39 |
-3,93 |
-1,05 |
-1,69 |
2,53 |
Таблица 6.4(продолжение)
|
|
|
|
|
|
|
|
|
|
-6,79 |
-7,58 |
-8,67 |
-8,15 |
-8,93 |
-5,88 |
-1,92 |
0,02 |
|
2,13 |
2,40 |
2,16 |
-0,02 |
-0,76 |
0,07 |
-1,64 |
-2,54 |
|
-3,85 |
-6,65 |
-5,31 |
2,55 |
2,77 |
5,03 |
1,22 |
0,17 |
|
3,22 |
-1,07 |
-1,63 |
-5,63 |
4,46 |
3,88 |
-0,97 |
-0,48 |
|
0,27 |
4,34 |
2,77 |
4,28 |
7,33 |
6,04 |
5,83 |
-1,12 |
|
6,91 |
9,82 |
6,03 |
4,54 |
3,18 |
3,79 |
3,72 |
-4,92 |
|
4,14 |
8,58 |
1,14 |
3,93 |
7,58 |
8,82 |
13,97 |
6,63 |
Рис.6.6
Нейронная сеть-аппроксиматор объекта
(6.17)
6.2. Нейро-лингвистическая идентификация