- •Нейронні мережі та нейрокомп’ютери
- •Контрольні запитання
- •Історія нейронних мереж
- •Контрольні запитання
- •Штучні нейронні мережі
- •3.1 Біологічний нейрон
- •3.2 Штучний нейрон
- •3.3 Штучні нейронні мережі
- •Контрольні запитання
- •Обгрунтування застосування нейромереж
- •3.4 Навчання штучної нейронної мережі
- •4.8 Керування
- •Контрольні запитання
- •Розширена модель штучного нейрона та компоненти штучного нейрона
- •5.1 Розширена модель штучного нейрона
- •5.2 Компоненти штучного нейрона
- •5.2.1 Вагові коефіцієнти
- •5.2.2 Функція суматора
- •5.2.3 Передавальна функція
- •5.2.4 Масштабування
- •5.25 Вихідна функція
- •5.2.6 Функція похибки та поширюване назад значення
- •5.2.7 Функція навчання
- •Контрольні запитання
- •Архітектура з’єднань штучних нейронів
- •Контрольні запитання
- •Навчання штучної нейронної мережі
- •7.1 Контрольоване навчання
- •7.2 Неконтрольоване навчання
- •7.3 Оцінки навчання
- •7.4 Правила навчання
- •7.4.1 Правило Хеба
- •7.4.2 Правило Хопфілда
- •7.4.3 Правило “дельта”
- •7.4.4 Правило градієнтного спуску
- •7.4.5 Навчання методом змагання
- •Контрольні запитання
- •Перцептрон розенбалата та нейромережа зворотнього поширення похибки
- •8.1 Перцептрон Розенбалата
- •8.2 Нейромережа зворотнього поширення похибки (Back Propagation)
- •Контрольні запитання
- •Мережі delta bar delta,
- •9.3 Скерований випадковий пошук
- •Контрольні запитання
- •Нейронна мережа вищого порядку. Мережа кохонена. Квантування навчального вектора
- •10.1 Нейронна мережа вищого порядку або функціонально-пов’язана нейронна мережа
- •10.2 Мережа Кохонена
- •10.3 Квантування навчального вектора (Learning Vector Quantization)
- •Контрольні запитання
- •Мережа зустрічного поширення. Ймовірнісна нейронна мережа. Мережа хопфілда. Машина больцмана
- •11.1 Мережа зустрічного поширення (CounterРropagation)
- •Навчання мережі
- •Функціонування мережі
- •11.2 Ймовірнісна нейронна мережа
- •11.3 Мережа Хопфілда
- •Алгоритм функціонування мережі:
- •11.4 Машина Больцмана
- •Алгоритм функціонування мережі:
- •Контрольні запитання
- •Мережа хемінга. Двоскерована асоціативна пам’ять. Мережа адаптивної резонансної теорії
- •12.1 Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга:
- •12.2 Двоскерована асоціативна пам’ять
- •12.3 Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі: - ініціалізація мережі:
- •Контрольні запитання
- •Нейронна мережа на основі моделі “функціонал на множині табличних функцій”
- •13.1 Базові концепції моделі “функціонал на множині табличних функцій”
- •13.2 Навчання та функціонування нейромережі фтф
- •13.3 Алгоритм для режиму навчання нейромереж
- •13.4 Алгоритм для режиму функціонування нейромережі
- •13.5 Особливості формування передавальних функцій
- •Контрольні запитання
- •Нейромережі в задачах відображення
- •14.1 Типи задач відображення і підходи до їх вирішення
- •14.1.1 Факторний аналіз
- •14.1.2 Кореляційний аналіз
- •14.1.3 Ранжування входів
- •14.2 Вибір даних для обробки
- •14.3 Згладжування даних
- •14.4 Задачі прогнозування
- •За характером основних ознак об’єкту:
- •За числом ознак об’єкту досліджень:
- •За часом випередження розрізняють види прогнозів:
- •14.5 Адаптація нейромереж в режимах прогнозування
- •Однопараметрична задача прогнозування
- •Багатопараметрична задача прогнозування
- •Однокрокове прогнозування (передбачення)
- •Багатокрокове прогнозування
- •Багатокрокове прогнозування з перенавчанням нейромережі на кожному кроці прогнозу
- •14.6 Критерії оцінки якості функціонування мережі
- •14.7 Оцінювання точності прогнозів
- •Контрольні запитання
- •Сучасні напрямки розвитку нейрокомп’ютерних технологій
- •Загальні задачі - це задачі досить просто зводяться до обробки нейронною мережею багатовимірних векторів дійсних змінних, наприклад:
- •Нейромережеві експертні системи
- •Нейрочіпи і нейрокомп’ютери
- •Контрольні запитання
- •Перелік рекомендованих джерел
Багатокрокове прогнозування з перенавчанням нейромережі на кожному кроці прогнозу
Швидкі неітераційні алгоритми навчання дозволяють запропонувати новий тип багатокрокового прогнозу, який може бути застосований при довготермінових прогнозах із збереженням задовільної точності прогнозування.
Аналогічно з попереднім алгоритмом прогнозування на входи мережі у режимі функціонування надходить остання реалізація навчальної множини x(tn-2), x(tn-1), x(tn). Прогнозоване значення виходу x*(tn+1) відкладається у векторі прогнозованих вихідних значень і в якості достовірного додається до реальних значень навчальної множини. Навчальна множина збільшується на одне часове вікно. Відбувається процес перенавчання мережі на збільшеній навчальній множині, під час якого визначаються нові вагові коефіцієнти k синаптичних зв’язків і поліномів передавальних функцій нейронів (рис.14.12).
Рисунок 14.12 – Послідовність використання нейромережі для задач багатокрокового прогнозування з перенавчанням
Реалізація x(tn-1), x(tn), x*(tn+1), як значення наступного вхідного вікна подається на входи мережі в режимі функціонування. Мережа продукує нове вихідне значення x*(tn+2), яке відповідно також відкладається у вектор продукованих виходів і долучається до реальних значень навчальної множини, з метою подальшого перенавчання мережі та встановлення поновлених коефіцієнтів поліномів передавальних функцій і синаптичних зв’язків. Ітераційна процедура перенавчання поширюється до прогнозованого значення x*(tN).
Такий підхід дозволяє при великих інтервалах випередження усунути затухання прогностичних властивостей мережі за рахунок постійного коректування вагових коефіцієнтів синаптичних зв’язків.
Відзначимо, що алгоритм багатокрокового прогнозування з перенавчанням мережі для традиційних мереж прямого поширення з ітераційним навчанням є практично нездійсненним через великі часові затримки, необхідні на переналаштовування коефіцієнтів мережі.
14.6 Критерії оцінки якості функціонування мережі
Критерії оцінки слід поділити на внутрішні та зовнішні. Внутрішні критерії формуються на основі інформації множини даних, які були використані для навчання, тоді як зовнішні критерії використовують нову інформацію тестової множин, елементи яких не використовувалась при навчанні. Оптимальна складність моделі мережі встановлюється за сукупністю зовнішніх та внутрішніх критеріїв.
До зовнішніх критеріїв вибору моделі можна віднести критерій регулярності.
Критерій регулярності – це зовнішній критерій, для обчислення величини якого вимагається тестова множина даних:
,
(14.5)
де Δ (1) - величина критерію;
і - номер відгуку;
Φі - значення відгуків, що продукуються мережею;
Φі* - точні значення відгуків.
Фізичний сенс застосування критерію регулярності полягає у виборі моделі, яка буде максимально точною на елементах тестової множини, які не входили до складу навчальної множини.
Критерій мінімального зміщення вимагає максимального співпадіння значень вихідної величини для двох моделей, де в якості навчальних елементів були використані дані різних підмножин навчальної множини.
Критерій мінімального зміщення дозволяє обирати модель, яка “слабо реагує” на зміну навчальної множини і дозволяє вирішити задачу відновлення закону, що діє для зашумлених тестових даних.
Критерій зміщенності показників в часі - допомагає оцінити рівень взаємозв’язку змінних. Окремі показники можуть мати різну післядію, тому розділене прогнозування кожного з них може забезпечити кращий результат. Відповідно, при наявності тісного взаємозв’язку між показниками, прогнозування їх сукупності покращує результати прогнозу кожного з них. Можливе також включення нового параметра, який може бути або додатковою ознакою або лінійною комбінацією вже включених ознак. Застосування цього критерію допомагає в оптимальному підборі таких ознак явища, які можуть забезпечити вищу точність прогнозування.
Критерій фізичної достовірності - вимагає виключення моделей, які під час проведення експерименту, можуть продукувати нереальні результати (великі викиди для множини, що прогнозується).
