- •Історія нейронних мереж.
- •Аналогія штучних нейронних мереж з мозком людини.
- •Біологічний нейрон.
- •Базовий штучний нейрон.
- •Модель штучного нейрона як «елемента обробки».
- •Штучні нейронні мережі та задачі, які вони виконують.
- •Навчання штучної нейронної мережі. Контрольоване навчання.
- •Контрольоване навчання
- •Неконтрольоване навчання
- •Оцінка ефективності та правила навчання нейромережі. Правила Хеба та Хопфілда Оцінки навчання
- •Навчання штучної нейронної мережі. Неконтрольоване навчання.
- •Правила навчання
- •Правила навчання нейромережі. Правило «дельта», градієнтного спуску та навчання методом змагання.
- •Обґрунтованість застосування нейронних мереж. Проблеми розв’язуванні в контексті нейромоделювання.
- •Машина фон Неймана у порівнянні з біологічною нейронною системою.
- •Розширена модель штучного нейрону.
- •Компоненти штучного нейрону. Вагові коефіцієнти та функція суматора. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Передатна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
- •Перцептрон Розенбалата. Перцептрон Розенбалата
- •Алгоритм навчання одношарового перцептрону. Алгоритм навчання одношарового перцептрона
- •Особливості перцептрону, недоліка та переваги. Модифікації перцептрону.
- •Нейромережа зворотного поширення похибки(Back Propagation)
- •Правила до вибору архітектури мережі зворотного поширення похибки (Back Propagation).
- •Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
- •Нейромережа Delta bar Delta. Недоліки та переваги
- •Нейромережа Extended Delta bar Delta.
- •Мережа скерованого випадкового пошуку (Directed Random Search).Основні компоненти, переваги та недоліки.
- •Нейромережа вищого порядку або функціонально - пов’язана нейронна мережа. Нейронна мережа вищого порядку або функціонально-пов'язана нейронна мережа
- •Мережа Кохонена. Недоліки, переваги та модифікації мережі. Мережа Кохонена
- •Алгоритм функціонування мережі Кохонена. Алгоритм функціонування мережі Кохонена:
- •Мережа квантування навчального вектора (Learning Vector Quantization).Недоліки та переваги. Квантування навчального вектора (Learning vectorquantization)
- •Мережа зустрічного поширення (сounterрropagation). Мережа зустрічного поширення (counterрropagation)
- •Навчання та функціонування мережі зустрічного поширення (сounterрropagation). Навчання мережі
- •Функціонування мережі
- •Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
- •Мережа Хопфілда. Мережа Хопфілда
- •Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
- •Машина Больцмана (Boltzmann mashine). Машина Больцмана
- •Алгоритм функціонування мережі Больцмана. Алгоритм функціонування мережі
- •Мережа Хемінга. Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга. Алгоритм функціонування мережі Хемінга
- •Мережа двоскерованої асоціативної пам’яті. Недоліки, переваги та модифікації Двоскерована асоціативна пам'ять
- •Мережа адаптивної резонансної теорії. Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі адаптивної резонансної теорії. Алгоритм функціонування мережі
- •Базові концепції моделі "Функціонал на множині табличних функцій" (фтф).
- •Навчання та функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Алгоритм для режиму навчання моделі "Функціонал на множині табличних функцій"(фтф).
- •Алгоритм для режиму функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Особливості формування передатних функцій в моделі "Функціонал на множині табличних функцій" (фтф).
- •Представлення задач. Логічні моделі
- •Представлення задач. Мережеві моделі
- •Представлення задач. Продукційні моделі
- •Представлення задач. Сценарії
- •Методи вирішення задач. Рішення задач методом пошуку в просторі станів.
- •Методи вирішення задач. Рішення задач методом редукції.
- •Методи вирішення задач. Рішення задач дедуктивного вибору.
- •Методи вирішення задач. Рішення задач, що використовують немонотонні логіки, імовірнісні логіки.
- •Класифікація рівнів розуміння виконавчих систем.
- •Данные и знания. Основные определения.
- •Особливості знань. Перехід від бази даних до бази знань. Особенности знаний. Переход от Базы Данных к Базе Знаний.
- •Неформальні (семантичні) моделі представлення знань. Модели представления знаний. Неформальные (семантические) модели.
- •Формальні моделі представлення знань. Формальные модели представления знаний.
- •Комплексна схема нечіткого планування задач.
- •Особливості планування цілеспрямованих дій.
- •Оцінки складності завдання планування.
- •Призначення експертних систем.
- •Структура експертних систем.
- •Етапи розробки експертних систем.
- •Представлення знань в експертних системах.
- •Методи пошуку рішень в експертних системах.
- •Підготовчий етап роботи зі знанням.
- •Основний етап роботи зі знанням.
- •Системи придбання знань від експертів.
- •Передумови виникнення систем розуміння природної мови. Предпосылки возникновения систем понимания естественного языка
- •Понимание в диалоге
- •Приклади системи обробки природної мови. Примеры системы обработки естественного языка
- •Методи озвучування мови. Методы озвучивания речи
- •Система розпізнавання мовлення. Акустична модель
- •Система розпізнавання мовлення. Лінгвістична модель.
- •Класифікація систем розпізнавання мовлення. Классификация систем распознавания речи
- •Розпізнавання символів. Шаблонні системи. Распознавание символов
- •Розпізнавання символів. Структурні системи.
- •Розпізнавання символів. Ознакові системи.
- •Розпізнавання рукописних текстів. Распознавание рукописных текстов
- •Архітектура експертної системи реального часу. Архитектура экспертной системы реального времени
- •Системи управління з нечіткою логікою.
- •Лінгвістичні змінні та їх використання в системах з нечіткою логікою.
- •Операції над нечіткими множинами.
- •Основна структура і принцип роботи системи нечіткої логіки.
- •Блок фаззіфікації в системі з нечіткою логікою.
- •База правил нечіткої логіки.
- •Блок виводу в системи з нечіткою логікою.
- •Блок дефаззіфікації в системи з нечіткою логікою.
- •Нейрочіпи та їх класифікація.
Блок дефаззіфікації в системи з нечіткою логікою.
Дефаззификация.
Под
дефаззификацией понимается процедура
преобразования нечетких величин,
получаемых в результате нечеткого
вывода, в четкие. Эта процедура является
необходимой в тех случаях, где требуется
интерпретация нечетких выводов
конкретными четкими величинами, т.е.
когда на основе функции принадлежности
возникает
потребность определить для каждой точки
в Z
числовые значения.
В настоящее время отсутствует систематическая процедура выбора стратегии дефаззификации. На практике часто используют два наиболее общих метода: метод центра тяжести (ЦТ — центроидный), метод максимума (ММ).
Для дискретных пространств в центроидном методе формула для вычисления четкого значения выходной переменной представляется в следующем виде:
|
(15.11) |
Стратегия дефаззификации ММ предусматривает подсчет всех тех z, чьи функции принадлежности достигли максимального значения. В этом случае (для дискретного варианта) получим
|
(15.12) |
где z — выходная переменная, для которой функция принадлежности достигла максимума; m — число таких величин.
Из этих двух наиболее часто используемых стратегий дефаззификации, стратегия ММ дает лучшие результаты для переходного режима, а ЦТ — в установившемся режиме из-за меньшей среднеквадратической ошибки.
Нейрочіпи та їх класифікація.
Нейрочипом принято называть специализированную сверхбольшую интегральную схему (СБИС-нейрочип), ориентированную на реализацию нейросетевых алгоритмов. Разработкой нейрочипов занимаются многие фирмы в различных странах. Значительный рост выпуска СБИС-нейрочипов наметился с середина 90-х годов прошлого века.
По принципу построения, по назначению и характеристикам они сильно отличаются друг от друга. На рис. 14.10 приведена схема классификации СБИС-нейрочипов.
По виду информационного носителя нейрочипы делятся на аналоговые, цифровые и гибридные.
Аналоговая элементная база характеризуется большим быстродействием и низкой стоимостью, что в значительной мере способствует ее производству.
Рисунок 14.10 – Схема классификации нейрочипов
Самыми простыми являются СБИС с битовыми весовыми коэффициентами, которые, как правило, являются настраиваемыми, и с фиксированными вдовыми коэффициентами и полными последовательными связями. В аналоговой технике широко используется такой вид модуляции, как частотно-импульсная модуляция. Аппаратура, использующая эту модуляцию, характеризуется низким энергопотреблением, высокой надежностью. Отметим, что в биологических нейронных сетях сигналы представляются именно частотно-импульсной модуляцией. Очевидно, что эти факторы и способствовали появлению на рынке аналоговых СБИС-чипов с такой модуляцией сигнала.
По способу реализации нейроалгоритмов различают нейрочипы с полностью аппаратной и с программно-аппаратной реализацией (когда неироалгоритмы хранятся в программируемом запоминающем устройстве).
Как видно из схемы классификации (рис. 14.10) нейрочипы могут быть как с жесткой, так и с переменной структурой.
К отдельному классу относятся нейросигнальнье процессоры. Ядро этих СБИС представляет сигнальный процессор, а реализованные на кристалле специальные дополнительные модули обеспечивают выполнение нейросетевых алгоритмов. Таким дополнительным модулем, например, может быть векторный процессор.
Возможности микроэлектроники и запросы потребителей привели к созданию проблемно-ориентированного направления выпуск нейрочипов.
Можно выделить следующие области их проблемной ориентации.
обработка, сжатие и сегментация изображение;
обработка стереоизображений;
выделение движущихся целей на изображение;
обработка сигналов;
ассоциативная память.
Особое место в проблемной ориентации нейрочипов занимает ориентация на клеточную структуру. На такой структуре строятся резистивные решетки, нейрочипы с внутрикристаллической реализацией слоя фоторецепторов, так называемые ретины. Ретины используют в робототехнике, в медицине для вживления в глаз слепого человека.
Применение нейронных сетей представлено в таблице 14.1
Таблица 14.1
Описание системы |
Основные задачи |
Входы системы |
Выходы системы |
Системы распознавания текста |
Распознавание печатных или рукописных букв и цифр |
Сканируемое изображение |
ASCII-коды символов |
Автопилот автомобиля |
Автоматическое управление автомобилем |
Расстояние между задним бампером и машиной, идущей сзади; скорость впереди идущей машины изгиб дороги, место расположения машины |
Команды изменения скорости, смены ряда, команда углового поворота руля |
NETtalk |
Синтез речи |
Коды символов алфавита |
Команды генерации фонем |
Нейронная система управления технологическим процессом сварки |
Предсказание качества сварного соединения на основе анализа параметров сварки |
Сварочные параметры (напряжение, ток, скорость перемещения электрода) |
Протокол качества сварного соединения |
NET |
Многофункциональная система разработки нейроконтроллеров |
Произвольные |
Произвольные |

в общем
случае
.
,