- •Нейронні мережі та нейрокомп’ютери
- •Контрольні запитання
- •Історія нейронних мереж
- •Контрольні запитання
- •Штучні нейронні мережі
- •3.1 Біологічний нейрон
- •3.2 Штучний нейрон
- •3.3 Штучні нейронні мережі
- •Контрольні запитання
- •Обгрунтування застосування нейромереж
- •3.4 Навчання штучної нейронної мережі
- •4.8 Керування
- •Контрольні запитання
- •Розширена модель штучного нейрона та компоненти штучного нейрона
- •5.1 Розширена модель штучного нейрона
- •5.2 Компоненти штучного нейрона
- •5.2.1 Вагові коефіцієнти
- •5.2.2 Функція суматора
- •5.2.3 Передавальна функція
- •5.2.4 Масштабування
- •5.25 Вихідна функція
- •5.2.6 Функція похибки та поширюване назад значення
- •5.2.7 Функція навчання
- •Контрольні запитання
- •Архітектура з’єднань штучних нейронів
- •Контрольні запитання
- •Навчання штучної нейронної мережі
- •7.1 Контрольоване навчання
- •7.2 Неконтрольоване навчання
- •7.3 Оцінки навчання
- •7.4 Правила навчання
- •7.4.1 Правило Хеба
- •7.4.2 Правило Хопфілда
- •7.4.3 Правило “дельта”
- •7.4.4 Правило градієнтного спуску
- •7.4.5 Навчання методом змагання
- •Контрольні запитання
- •Перцептрон розенбалата та нейромережа зворотнього поширення похибки
- •8.1 Перцептрон Розенбалата
- •8.2 Нейромережа зворотнього поширення похибки (Back Propagation)
- •Контрольні запитання
- •Мережі delta bar delta,
- •9.3 Скерований випадковий пошук
- •Контрольні запитання
- •Нейронна мережа вищого порядку. Мережа кохонена. Квантування навчального вектора
- •10.1 Нейронна мережа вищого порядку або функціонально-пов’язана нейронна мережа
- •10.2 Мережа Кохонена
- •10.3 Квантування навчального вектора (Learning Vector Quantization)
- •Контрольні запитання
- •Мережа зустрічного поширення. Ймовірнісна нейронна мережа. Мережа хопфілда. Машина больцмана
- •11.1 Мережа зустрічного поширення (CounterРropagation)
- •Навчання мережі
- •Функціонування мережі
- •11.2 Ймовірнісна нейронна мережа
- •11.3 Мережа Хопфілда
- •Алгоритм функціонування мережі:
- •11.4 Машина Больцмана
- •Алгоритм функціонування мережі:
- •Контрольні запитання
- •Мережа хемінга. Двоскерована асоціативна пам’ять. Мережа адаптивної резонансної теорії
- •12.1 Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга:
- •12.2 Двоскерована асоціативна пам’ять
- •12.3 Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі: - ініціалізація мережі:
- •Контрольні запитання
- •Нейронна мережа на основі моделі “функціонал на множині табличних функцій”
- •13.1 Базові концепції моделі “функціонал на множині табличних функцій”
- •13.2 Навчання та функціонування нейромережі фтф
- •13.3 Алгоритм для режиму навчання нейромереж
- •13.4 Алгоритм для режиму функціонування нейромережі
- •13.5 Особливості формування передавальних функцій
- •Контрольні запитання
- •Нейромережі в задачах відображення
- •14.1 Типи задач відображення і підходи до їх вирішення
- •14.1.1 Факторний аналіз
- •14.1.2 Кореляційний аналіз
- •14.1.3 Ранжування входів
- •14.2 Вибір даних для обробки
- •14.3 Згладжування даних
- •14.4 Задачі прогнозування
- •За характером основних ознак об’єкту:
- •За числом ознак об’єкту досліджень:
- •За часом випередження розрізняють види прогнозів:
- •14.5 Адаптація нейромереж в режимах прогнозування
- •Однопараметрична задача прогнозування
- •Багатопараметрична задача прогнозування
- •Однокрокове прогнозування (передбачення)
- •Багатокрокове прогнозування
- •Багатокрокове прогнозування з перенавчанням нейромережі на кожному кроці прогнозу
- •14.6 Критерії оцінки якості функціонування мережі
- •14.7 Оцінювання точності прогнозів
- •Контрольні запитання
- •Сучасні напрямки розвитку нейрокомп’ютерних технологій
- •Загальні задачі - це задачі досить просто зводяться до обробки нейронною мережею багатовимірних векторів дійсних змінних, наприклад:
- •Нейромережеві експертні системи
- •Нейрочіпи і нейрокомп’ютери
- •Контрольні запитання
- •Перелік рекомендованих джерел
13.5 Особливості формування передавальних функцій
Основна відмінність між різними алгоритмами навчання і функціонування нейромережі даної парадигми полягає у способах формування передавальних функції нейронів, значення яких попередньо задані в таблиці по точках (рис.13.7).
Рисунок 13.7 – Передавальна функція нейронів, задана по точках
Оскільки відомі лише вузлові значення сітки і клас функцій загалом невідомий, постає задача вибору моделей передавальних функцій нейронів.
Шуканий коефіцієнт KN(j) загалом невідомий для точок-реалізацій, що не входять до навчальної множини. Однак, очевидно, що F1(j)(0)=0,так як для нульового рядка повний KN(j) і частковий PN(j) коефіцієнти одночасно є нульовими. Для базового рядка, що вибраний на даному кроці розкладу, завжди F1(j)(1)=1. Якщо задати передавальні функції такими, що проходять через точки (1; 1), (0; 0), то на кожному кроці розкладу обнулюється рядок матриці, сума квадратів елементів якого є максимальною, а обнулені рядки і надалі залишатимуться такими. Хоча для інших вузлів значення передавальної функції відтворюються лише наближено, в цілому забезпечується збіжність процесу розкладу в ряд. Формула передавальної функції в цьому випадку набуває вигляду:
.
(13.23)
Наведена вище функціональна залежність є степеневим поліномом, що на площині проходить через вузли (0;0), (1;1), тобто через визначені точки інтерполяції:
f(xN)=0 для хN=0,
f(xN)=1 для хN=1.
При апроксимації множини точок між заданими вузлами інтерполяції за методом найменших квадратів, можна визначити коефіцієнти aі полінома. Розв'язуючи систему рівнянь знаходимо значення коефіцієнтів аі.
В основі підходу до застосування нейромережі є гіпотеза про те, що коли залежність між повними та частковими коефіцієнтами відношень відтворюється для вузлів - векторів навчальної множини, вона достатньо точно відтворюється і поза ними, тоді набір повних коефіцієнтів забезпечує задовільне відтворення сумою всіх можливих елементів матриці реалізацій. Численні експерименти, а також наявний досвід використання програмних нейромереж, побудованих на основі описаного принципу, для практичних завдань підтвердили справедливість вказаного твердження. На основі експериментальних досліджень встановлені також і певні особливості подібного алгоритму:
- процедура використання нейромережі в режимі функціонування збігається лише у випадках, коли вхідний вектор дійсно є елементом матриці реалізацій об'єкта MNi(1). В інших випадках на певному кроці відбувається швидкий процес наростання значень повних коефіцієнтів відношень;
- для задач, де вхідний вектор брався з множини реальних вхідних значень, фактів розбіжності не зафіксовано, хоча в практичних варіантах програм віртуальних нейрокомп’ютерів введені механізми запобігання розбіжності обчислень;
- оптимальна точність відображення вхідних значень у вихідні досягається для числа членів кінцевої суми, яке не повинно перевищувати сумарного числа вхідних та вихідних нейронних елементів з наступним погіршенням точності від кожного нового члена.
Ретельна перевірка функціонування мережі під час проведення чисельних експериментів дозволила відмітити суттєві переваги алгоритму:
- швидке навчання мереж (за одну епоху), що дозволяє для більшості випадків практичних завдань обмежитись програмними моделями;
- можливість оцінки похибок прогнозованих результатів, а також велика точність рішень, недосяжна для інших методів;
- усунення обмежень щодо рішення задач великої вимірності на основі обчислювальних ресурсів ПЕОМ.
