13.2 Навчання та функціонування нейромережі фтф

Проаналізуємо особливості навчання та функціонування нейромереж ФТФ, основи яких розглянуті вище.

Покажемо основні елементи на шляху проходження вхідних (х) і вихідних (у) сигналів при формуванні елементів навчальної матриці (рис.13.4).

К - блок кодування вхідних даних, що дозволяє приводити (нормувати) вхідні дані до діапазону -1¸+1 для кожного входу окремо;

М - блок масштабування вихідних даних, що дозволяє представлення вихідних даних для навчальної матриці в діапазоні значень -1¸+1;

f_S - передавальна функція нейронів вхідного прошарку th(x) (рис.13.5а);

f_R - передавальна функція нейронів вихідного прошарку при передачі вихідних сигналів до прихованого прошарку (є оберненою до th(x) - arcth(x)) (рис.13.5б)

Рисунок 13.4 – Схема формування елементів навчальної матриці

а

б

а) б)

а) - передавальна функція th(x);

б) - передавальна функція arcth(x)

Рисунок 13.5 – Передавальні функції нейронів вхідного та вихідного прошарків

Для нейромережі виділимо два окремі режими - навчання та використання.

Основною метою навчання ставиться визначення ваг синаптичних зв’язків та параметрів передавальних функцій нейронів прихованого прошарку. В режимі функціонування нейромережа спроможна продукувати відгуки на отримані вхідні значення, які не входили до складу навчальної множини. У випадку наявності контрольної множини вихідних значень, можливе оцінювання точності функціонування мережі шляхом порівняння еталонних та спродукованих мережею вихідних значень.

13.3 Алгоритм для режиму навчання нейромереж

Передумовою реалізації режиму навчання є формування, за встановленими правилами, елементів навчальної множини, яка відображає явище або процес. Для навчання нейронної мережі задаються тренувальні вектори, які утворюють рядки тренувальної матриці M_Ni⁽¹⁾, де i=1, 2, ..., n, n+1, ..., n+m, причому n перших стовпців відповідають сигналам нейронів вхідного прошарку, а m останніх - вихідним сигналам нейронів вихідного прошарку, N=1, 2, ..., N₁, де N₁ - число тренувальних векторів. Елементи рядків-реалізацій, що відповідають виходам трактуються як правильні відгуки на задані значення входів. Елементи навчальної матриці відповідають сигналам входів-виходів прихованого прошарку нейромережі. Тренувальна матриця представляється як таблиця обчислених значень (табл.13.1).

Таблиця 13.1 - Тренувальна матриця

		Входи				Виходи
		1	2		n	n+1		n+m
	1	х11	х12		х1n	y11		y1m
	2	х21	х22		х2n	y22		y2m
MNi(1)=
	N	хN1	хN2		хNn	yN1		yNm
	Nl	хNl1	хNl2		хNln	yNl1		yNlm

Для навчання нейромережі необхідно здійснити декомпозицію функції двох змінних F(N, i) за допомогою сум добутків функцій однієї змінної, що забезпечує визначення відповідних аргументних функцій функціоналу. Декомпозиція виконується покроково шляхом побудови кінцевої суми. На першому кроці розкладу обираємо рядок матриці M_Ni⁽¹⁾ з номером S₁, сума квадратів елементів якого максимальна M_S1i⁽¹⁾. За формулою (13.7) обчислюємо коефіцієнт K_N^(j) для кожного рядка матриці, N=1, 2, ..., N₁.

. (13.7)

Елементи кожного рядка початкової матриці M_Ni⁽¹⁾ перетворюються у відповідності з формулою (13.8):

M_Ni⁽²⁾ = M_Ni⁽¹⁾ - K_N⁽¹⁾M_S1i⁽¹⁾, (13.8)

де i=1, 2, ..., n+m.

Враховуючи (13.7), елементи залишкової матриці M_Ni⁽²⁾ будуть мінімальними в сенсі критерію найменших квадратів.

На наступному кроці обирається рядок матриці M_Ni⁽²⁾ з номером S₂, сума квадратів елементів якого є максимальною. При цьому значення елементів вказаного рядка дорівнюють:

M_S2i⁽²⁾ = M_S2i⁽¹⁾ - K_S2⁽¹⁾M_S1i⁽¹⁾ . (13.9)

Згідно формул (13.10), (13.11) виконуємо обчислення коефіцієнта K_N⁽²⁾ для другого кроку розкладу:

. (13.10)

Обчислюємо значення елементів в кожному рядку залишкової матриці:

M_Ni⁽³⁾ = M_Ni⁽²⁾ - K_N⁽²⁾M_S2i⁽²⁾ . (13.11)

По аналогії з попередніми кроками, для j-ого кроку обчислень, де j=1, 2, ..., n+m, маємо:

; (13.12)

; (13.13)

, (13.14)

де Sj - номер рядка на j-му кроці обчислень, сума квадратів елементів якого є максимальною.

Відношення (13.12), (13.13), (13.14) відповідають формулам ортогоналізації Грама-Шмідта, тому можна вважати, що на n+m+1 кроці обчислень, елементи залишкової матриці дорівнюватимуть:

, (13.15)

де N=1, 2, ..., N₁; i=1, 2, ..., n+m.

На основі (13.8), (13.9), (13.13) виводиться загальна формула для елементів рядків залишкової матриці для j+1 кроку обчислень:

. (13.16)

Після проведених перетворень можна сформувати масив коефіцієнтів K_N^(j), де j=1, ..., j_max; j_max - кількість елементів прихованого прошарку. Неважко переконатися, що величина коефіцієнта K_N^(j) буде дорівнювати значенню вихідного сигналу j-ого елемента прихованого прошарку для N-го тренувального вектора. Точні значення останнього відомі лише для тренувальних векторів. Для векторів-реалізацій, в яких відомі лише вхідні дані, а вихідні значення повинні бути сформовані навченою нейронною мережею, коефіцієнт K_N^(j) можна задати параметрично. Для цього, в процесі навчання, одночасно з обчисленням відповідних коефіцієнтів K_N^(j) вираховуються додаткові параметри (часткові коефіцієнти)P_N^(j), для яких вихідні стовпці початкової матриці M_Ni⁽¹⁾ приймаються нульовими. По аналогії з вище показаними обчисленнями, на j-му кроці розкладу частковий коефіцієнт дорівнюватиме:

. (13.17)

Коефіцієнт K_N^(j) можна задати як функцію F₁^(j) від параметра P_N^(j), що власне є передавальною функцією j-го елемента прихованого прошарку.

. (13.18)

Якщо функцію (13.18) задати у вузлах і апроксимувати поза вузлами яким-небудь способом, то для векторів навчальної матриці вона буде відтворюватись з нульовою методичною похибкою, а для решти - наближено.

Оскільки, існує відповідність між елементами матриці M_Ni⁽¹⁾ і величинами сигналів у вузлових точках нейромережі, а також враховуючи (13.15), елементи матриці можуть бути представлені кінцевою сумою, вигляду:

, (13.19)

де K_N^(j), S_Sji^(j) є одновимірними векторами, що отримують на основі початкової матриці M_Ni⁽¹⁾.

Для векторів - рядків, що не входять в навчальну матрицю, коефіцієнт K_N^(j) визначається приблизно, тому рівність (13.19) для них виконується лише наближено.

Розрахунки, які визначають процес навчання, виконуються за кінцеве, наперед відоме число кроків, тобто є неітераційними. Обмежене число необхідних обчислювальних операцій роблять процес навчання швидким на відміну від інших методів навчання нейронних мереж, зокрема, Back Propagation або Counter Propagation.