- •Нейронні мережі та нейрокомп’ютери
- •Контрольні запитання
- •Історія нейронних мереж
- •Контрольні запитання
- •Штучні нейронні мережі
- •3.1 Біологічний нейрон
- •3.2 Штучний нейрон
- •3.3 Штучні нейронні мережі
- •Контрольні запитання
- •Обгрунтування застосування нейромереж
- •3.4 Навчання штучної нейронної мережі
- •4.8 Керування
- •Контрольні запитання
- •Розширена модель штучного нейрона та компоненти штучного нейрона
- •5.1 Розширена модель штучного нейрона
- •5.2 Компоненти штучного нейрона
- •5.2.1 Вагові коефіцієнти
- •5.2.2 Функція суматора
- •5.2.3 Передавальна функція
- •5.2.4 Масштабування
- •5.25 Вихідна функція
- •5.2.6 Функція похибки та поширюване назад значення
- •5.2.7 Функція навчання
- •Контрольні запитання
- •Архітектура з’єднань штучних нейронів
- •Контрольні запитання
- •Навчання штучної нейронної мережі
- •7.1 Контрольоване навчання
- •7.2 Неконтрольоване навчання
- •7.3 Оцінки навчання
- •7.4 Правила навчання
- •7.4.1 Правило Хеба
- •7.4.2 Правило Хопфілда
- •7.4.3 Правило “дельта”
- •7.4.4 Правило градієнтного спуску
- •7.4.5 Навчання методом змагання
- •Контрольні запитання
- •Перцептрон розенбалата та нейромережа зворотнього поширення похибки
- •8.1 Перцептрон Розенбалата
- •8.2 Нейромережа зворотнього поширення похибки (Back Propagation)
- •Контрольні запитання
- •Мережі delta bar delta,
- •9.3 Скерований випадковий пошук
- •Контрольні запитання
- •Нейронна мережа вищого порядку. Мережа кохонена. Квантування навчального вектора
- •10.1 Нейронна мережа вищого порядку або функціонально-пов’язана нейронна мережа
- •10.2 Мережа Кохонена
- •10.3 Квантування навчального вектора (Learning Vector Quantization)
- •Контрольні запитання
- •Мережа зустрічного поширення. Ймовірнісна нейронна мережа. Мережа хопфілда. Машина больцмана
- •11.1 Мережа зустрічного поширення (CounterРropagation)
- •Навчання мережі
- •Функціонування мережі
- •11.2 Ймовірнісна нейронна мережа
- •11.3 Мережа Хопфілда
- •Алгоритм функціонування мережі:
- •11.4 Машина Больцмана
- •Алгоритм функціонування мережі:
- •Контрольні запитання
- •Мережа хемінга. Двоскерована асоціативна пам’ять. Мережа адаптивної резонансної теорії
- •12.1 Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга:
- •12.2 Двоскерована асоціативна пам’ять
- •12.3 Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі: - ініціалізація мережі:
- •Контрольні запитання
- •Нейронна мережа на основі моделі “функціонал на множині табличних функцій”
- •13.1 Базові концепції моделі “функціонал на множині табличних функцій”
- •13.2 Навчання та функціонування нейромережі фтф
- •13.3 Алгоритм для режиму навчання нейромереж
- •13.4 Алгоритм для режиму функціонування нейромережі
- •13.5 Особливості формування передавальних функцій
- •Контрольні запитання
- •Нейромережі в задачах відображення
- •14.1 Типи задач відображення і підходи до їх вирішення
- •14.1.1 Факторний аналіз
- •14.1.2 Кореляційний аналіз
- •14.1.3 Ранжування входів
- •14.2 Вибір даних для обробки
- •14.3 Згладжування даних
- •14.4 Задачі прогнозування
- •За характером основних ознак об’єкту:
- •За числом ознак об’єкту досліджень:
- •За часом випередження розрізняють види прогнозів:
- •14.5 Адаптація нейромереж в режимах прогнозування
- •Однопараметрична задача прогнозування
- •Багатопараметрична задача прогнозування
- •Однокрокове прогнозування (передбачення)
- •Багатокрокове прогнозування
- •Багатокрокове прогнозування з перенавчанням нейромережі на кожному кроці прогнозу
- •14.6 Критерії оцінки якості функціонування мережі
- •14.7 Оцінювання точності прогнозів
- •Контрольні запитання
- •Сучасні напрямки розвитку нейрокомп’ютерних технологій
- •Загальні задачі - це задачі досить просто зводяться до обробки нейронною мережею багатовимірних векторів дійсних змінних, наприклад:
- •Нейромережеві експертні системи
- •Нейрочіпи і нейрокомп’ютери
- •Контрольні запитання
- •Перелік рекомендованих джерел
4.8 Керування
Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. В системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система діє по бажаній траєкторії, заданою еталонною моделлю. Прикладом є оптимальне керування двигуном.
Але, незважаючи на переваги нейронних мереж в часткових галузях над традиційними обчисленнями, існуючі нейромережі є не досконалими рішеннями. Вони навчаються і можуть робити “помилки”. Окрім того, не можна гарантувати, що розроблена мережа є оптимальною мережею. Застосування нейромереж вимагає від розробника виконання ряду умов.
Ці умови включають:
- множину даних, що включає інформацію, яка може характеризувати проблему;
- встановлену за розміром множину даних для навчання й тестування мережі;
- розуміння базової природи проблеми, яка буде вирішена;
- вибір функції суматора, передавальної функції та методів навчання;
- розуміння інструментальних засобів розробника;
- відповідна потужність обробки.
Новий шлях обчислень вимагає вмінь розробника поза межами традиційних обчислень. Спочатку, обчислення були лише апаратними й інженери робили його працюючим. Потім, були спеціалісти з програмного забезпечення: програмісти, системні інженери, спеціалісти по базах даних та проектувальники. Тепер є нейронні архітектори. Новий професіонал повинен мати кваліфікацію, відмінну від його попередників. Наприклад, він повинен знати статистику для вибору і оцінювання навчальних і тестувальних множин. Логічне мислення сучасних інженерів програмного забезпечення, їх емпіричне вміння та інтуїтивне відчуття гарантує створення ефективних нейромереж.
Контрольні запитання
1 Чи можна вважати нейромережі доцільним рішенням для всіх обчислювальних завдань?
2 В чому полягає завдання класифікації образів?
3 Як вирішуються задачі кластеризації?
4 Асоціативна пам’ять використовується в традиційних комп’ютерах чи в нейрокомп’ютерах?
5 Виконання яких умов вимагає від розробника застосування нейромереж?
Лекція №5
Розширена модель штучного нейрона та компоненти штучного нейрона
Сучасні дослідження фізіології мозку відкривають лише обмежене розуміння роботи нейронів і процесу мислення. Дослідники працюють як в біологічній, так і в інженерній галузях для розшифрування ключових механізмів нейронної обробки, що допомагає створювати потужніші і більш компактні нейромережі.
5.1 Розширена модель штучного нейрона
Поглиблені знання щодо будови біологічного нейрона дозволяють представити модель технічного нейрона в розширеному вигляді, деталізована структура якого наведена на рис.5.1.
1 - суматор, який моделює функції тіла біологічного нейрона;
2 - функціональний перетворювач, що виконує роль аксонного горбка;
3 - збуджуючий синапс; 4 - гальмуючий синапс; 5 - вхідний сигнал;
6 - дихотомічне розгалуження вхідного сигналу; 7 - вихідний сигнал;
8 - дихотомічне розгалуження вихідного сигналу; 9 - прямий зв’язок, що відповідає аксодендритному зв’язку між біологічними нейронами;
10 - зворотній (аксосоматичний) зв’язок
Рисунок 5.1 – Розширена модель нейронного елемента
Підставою для деталізації моделі нейронного елемента можна вважати встановлення нових фактів в області нейрофізіології, зокрема:
- наявність декількох місць синаптичного контакту;
- дихотомічне розгалуження дендритів різних порядків, що відповідає логічним операціям “І”, “АБО”, “Виключаюче АБО”, виділення максимального або мінімального сигналу в технічних аналогах;
- різні діаметри стовбурових дендритів, гілок, що безпосередньо прилягають до тіла нейрона, причому величина діаметра визначає степінь важливості інформації, яка проходить через дендрит;
- наявність “доріжок” на поверхні соми, які проходять від головних стовбурних дендритів до аксона, що обумовлює наявність паралельних шляхів обробки інформації і надає можливість застосування логічних операцій над сигналами, які надходять від різних стовбурових дендритів;
- особливості функціонування аксонного горбка. Власне аксонний горбок встановлює передавальну функцію нейрона, яка має набагато складнішу форму від прийнятих в нейромережевих технологіях сигмоїдальних або лінійних передавальних функцій;
- наявність дихотомічного розгалуження аксона. У вузлах розгалуження відбувається керування проходженням сигналу, що залежить від співвідношення діаметрів різних гілок аксона. При математичному моделюванні ці особливості можна реалізувати за допомогою логічних операцій;
- наявність зворотнього аксосоматичного зв’язку, що вже знайшло свою реалізацію при побудові рекурентних нейромереж.
Поглиблені знання відносно будови біологічного нейрона, як ефективного перетворюючого інструмента, можна розглядати як джерело базових ідей та концепцій по створенню нових парадигм нейромереж не лише на даний час, але і на віддалену перспективу.
