- •Історія нейронних мереж.
- •Аналогія штучних нейронних мереж з мозком людини.
- •Біологічний нейрон.
- •Базовий штучний нейрон.
- •Модель штучного нейрона як «елемента обробки».
- •Штучні нейронні мережі та задачі, які вони виконують.
- •Навчання штучної нейронної мережі. Контрольоване навчання.
- •Контрольоване навчання
- •Неконтрольоване навчання
- •Оцінка ефективності та правила навчання нейромережі. Правила Хеба та Хопфілда Оцінки навчання
- •Навчання штучної нейронної мережі. Неконтрольоване навчання.
- •Правила навчання
- •Правила навчання нейромережі. Правило «дельта», градієнтного спуску та навчання методом змагання.
- •Обґрунтованість застосування нейронних мереж. Проблеми розв’язуванні в контексті нейромоделювання.
- •Машина фон Неймана у порівнянні з біологічною нейронною системою.
- •Розширена модель штучного нейрону.
- •Компоненти штучного нейрону. Вагові коефіцієнти та функція суматора. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Передатна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
- •Перцептрон Розенбалата. Перцептрон Розенбалата
- •Алгоритм навчання одношарового перцептрону. Алгоритм навчання одношарового перцептрона
- •Особливості перцептрону, недоліка та переваги. Модифікації перцептрону.
- •Нейромережа зворотного поширення похибки(Back Propagation)
- •Правила до вибору архітектури мережі зворотного поширення похибки (Back Propagation).
- •Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
- •Нейромережа Delta bar Delta. Недоліки та переваги
- •Нейромережа Extended Delta bar Delta.
- •Мережа скерованого випадкового пошуку (Directed Random Search).Основні компоненти, переваги та недоліки.
- •Нейромережа вищого порядку або функціонально - пов’язана нейронна мережа. Нейронна мережа вищого порядку або функціонально-пов'язана нейронна мережа
- •Мережа Кохонена. Недоліки, переваги та модифікації мережі. Мережа Кохонена
- •Алгоритм функціонування мережі Кохонена. Алгоритм функціонування мережі Кохонена:
- •Мережа квантування навчального вектора (Learning Vector Quantization).Недоліки та переваги. Квантування навчального вектора (Learning vectorquantization)
- •Мережа зустрічного поширення (сounterрropagation). Мережа зустрічного поширення (counterрropagation)
- •Навчання та функціонування мережі зустрічного поширення (сounterрropagation). Навчання мережі
- •Функціонування мережі
- •Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
- •Мережа Хопфілда. Мережа Хопфілда
- •Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
- •Машина Больцмана (Boltzmann mashine). Машина Больцмана
- •Алгоритм функціонування мережі Больцмана. Алгоритм функціонування мережі
- •Мережа Хемінга. Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга. Алгоритм функціонування мережі Хемінга
- •Мережа двоскерованої асоціативної пам’яті. Недоліки, переваги та модифікації Двоскерована асоціативна пам'ять
- •Мережа адаптивної резонансної теорії. Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі адаптивної резонансної теорії. Алгоритм функціонування мережі
- •Базові концепції моделі "Функціонал на множині табличних функцій" (фтф).
- •Навчання та функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Алгоритм для режиму навчання моделі "Функціонал на множині табличних функцій"(фтф).
- •Алгоритм для режиму функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Особливості формування передатних функцій в моделі "Функціонал на множині табличних функцій" (фтф).
- •Представлення задач. Логічні моделі
- •Представлення задач. Мережеві моделі
- •Представлення задач. Продукційні моделі
- •Представлення задач. Сценарії
- •Методи вирішення задач. Рішення задач методом пошуку в просторі станів.
- •Методи вирішення задач. Рішення задач методом редукції.
- •Методи вирішення задач. Рішення задач дедуктивного вибору.
- •Методи вирішення задач. Рішення задач, що використовують немонотонні логіки, імовірнісні логіки.
- •Класифікація рівнів розуміння виконавчих систем.
- •Данные и знания. Основные определения.
- •Особливості знань. Перехід від бази даних до бази знань. Особенности знаний. Переход от Базы Данных к Базе Знаний.
- •Неформальні (семантичні) моделі представлення знань. Модели представления знаний. Неформальные (семантические) модели.
- •Формальні моделі представлення знань. Формальные модели представления знаний.
- •Комплексна схема нечіткого планування задач.
- •Особливості планування цілеспрямованих дій.
- •Оцінки складності завдання планування.
- •Призначення експертних систем.
- •Структура експертних систем.
- •Етапи розробки експертних систем.
- •Представлення знань в експертних системах.
- •Методи пошуку рішень в експертних системах.
- •Підготовчий етап роботи зі знанням.
- •Основний етап роботи зі знанням.
- •Системи придбання знань від експертів.
- •Передумови виникнення систем розуміння природної мови. Предпосылки возникновения систем понимания естественного языка
- •Понимание в диалоге
- •Приклади системи обробки природної мови. Примеры системы обработки естественного языка
- •Методи озвучування мови. Методы озвучивания речи
- •Система розпізнавання мовлення. Акустична модель
- •Система розпізнавання мовлення. Лінгвістична модель.
- •Класифікація систем розпізнавання мовлення. Классификация систем распознавания речи
- •Розпізнавання символів. Шаблонні системи. Распознавание символов
- •Розпізнавання символів. Структурні системи.
- •Розпізнавання символів. Ознакові системи.
- •Розпізнавання рукописних текстів. Распознавание рукописных текстов
- •Архітектура експертної системи реального часу. Архитектура экспертной системы реального времени
- •Системи управління з нечіткою логікою.
- •Лінгвістичні змінні та їх використання в системах з нечіткою логікою.
- •Операції над нечіткими множинами.
- •Основна структура і принцип роботи системи нечіткої логіки.
- •Блок фаззіфікації в системі з нечіткою логікою.
- •База правил нечіткої логіки.
- •Блок виводу в системи з нечіткою логікою.
- •Блок дефаззіфікації в системи з нечіткою логікою.
- •Нейрочіпи та їх класифікація.
Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
Незалежно від розташування та функціонального призначення, всі штучні нейронні елементи мають спільні компоненти. Розглянемо сім основних компонент штучного нейрона.
Компонента 4. Масштабування. Після передатної функції вихідний сигнал проходить додаткову обробку масштабування, тобто результат передатної функції множиться на масштабуючий коефіцієнт і додається зміщення.
Компонента 5. Вихідна функція (змагання). По аналогії з біологічним нейроном, кожний штучний нейрон має один вихідний сигнал, який передається до сотень інших нейронів. Переважно, вихід прямо пропорційний результату передатної функції. В деяких мережних топологіях результати передатної функції змінюються для створення змагання між сусідніми нейронами. Нейронам дозволяється змагатися між собою, блокуючи дії нейронів, що мають слабий сигнал. Змагання (конкуренція) може відбуватись між нейронами, які знаходяться на одному або різних прошарках. По-перше, конкуренція визначає, який штучний нейрон буде активним і забезпечить вихідний сигнал. По-друге, конкуруючі виходи допомагають визначити, який нейрон буде брати участь у процесі навчання.
Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
Незалежно від розташування та функціонального призначення, всі штучні нейронні елементи мають спільні компоненти. Розглянемо сім основних компонент штучного нейрона.
Компонента 6. Функція похибки та поширюване назад значення. У більшості мереж, що застосовують контрольоване навчання обчислюється різниця між спродукованим та бажаним виходом. Похибка відхилення (біжуча похибка) перетворюється функцією похибки відповідно заданій мережній архітектурі. В базових архітектурах похибка відхилення використовується безпосередньо, в деяких парадигмах використовується квадрат або куб похибки зі збереженням знаку.
Після проходження всіх прошарків біжуча похибка поширюється назад до попереднього прошарку і може бути безпосередньо похибкою або похибкою, масштабованою певним чином залежно від типу мережі (наприклад похідною від передаточної функції). Це поширюване назад значення враховується в наступному циклі навчання.
Компонента 7. Функція навчання. Метою функції навчання є налаштування змінних ваг з'єднань на входах кожного елемента обробки відповідно до певного алгоритму навчання для досягнення бажаного результату. Існує два типи навчання: контрольоване та неконтрольоване. Контрольоване навчання вимагає навчальної множини даних або спостерігача, що ранжує ефективність результатів мережі. У випадку неконтрольованого навчання система самоорганізовується за внутрішнім критерієм, закладеним в алгоритм навчання.
Перцептрон Розенбалата. Перцептрон Розенбалата
Першою моделлю нейромереж вважають перцептрон Розенбалата. Теорія перцептронів є основою для багатьох типів штучних нейромереж прямого поширення і вони є класикою для вивчення.
Одношаровий перцептрон здатний розпізнавати найпростіші образи. Окремий нейрон обчислює зважену суму елементів вхідного сигналу, віднімає значення зсуву і пропускає результат через жорстку порогову функцію, вихід якої дорівнює +1 чи -1. В залежності від значення вихідного сигналу приймається рішення:
+1 - вхідний сигнал належить класу A,
-1 - вхідний сигнал належить класу B.
На рис. 1 показана схема нейронів, використовуваних в одношарових перцептронах, графік передатної функції і схема вирішальних областей, створених у багатовимірному просторі вхідних сигналів. Вирішальні області визначають, які вхідні образи будуть віднесені до класу A, які - до класу B. Перцептрон, що складається з одного нейрона, формує дві вирішальні області, розділені гіперплощиною. На рисунку показаний випадок, коли розмірність вихідного сигналу дорівнює 2. При цьому поділяюча поверхня уявляє собою пряму лінію на площині. Рівняння, що задає поділяючу пряму, залежить від значень синаптичних ваг і зсуву.
Рис. 1. Схема нейрона, графік передатної функції і поділяюча поверхня
