- •Історія нейронних мереж.
- •Аналогія штучних нейронних мереж з мозком людини.
- •Біологічний нейрон.
- •Базовий штучний нейрон.
- •Модель штучного нейрона як «елемента обробки».
- •Штучні нейронні мережі та задачі, які вони виконують.
- •Навчання штучної нейронної мережі. Контрольоване навчання.
- •Контрольоване навчання
- •Неконтрольоване навчання
- •Оцінка ефективності та правила навчання нейромережі. Правила Хеба та Хопфілда Оцінки навчання
- •Навчання штучної нейронної мережі. Неконтрольоване навчання.
- •Правила навчання
- •Правила навчання нейромережі. Правило «дельта», градієнтного спуску та навчання методом змагання.
- •Обґрунтованість застосування нейронних мереж. Проблеми розв’язуванні в контексті нейромоделювання.
- •Машина фон Неймана у порівнянні з біологічною нейронною системою.
- •Розширена модель штучного нейрону.
- •Компоненти штучного нейрону. Вагові коефіцієнти та функція суматора. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Передатна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Масштабування та вихідна функція. Компоненти штучного нейрона
- •Компоненти штучного нейрону. Функція похибки та поширюваного назад значення, функція навчання. Компоненти штучного нейрона
- •Перцептрон Розенбалата. Перцептрон Розенбалата
- •Алгоритм навчання одношарового перцептрону. Алгоритм навчання одношарового перцептрона
- •Особливості перцептрону, недоліка та переваги. Модифікації перцептрону.
- •Нейромережа зворотного поширення похибки(Back Propagation)
- •Правила до вибору архітектури мережі зворотного поширення похибки (Back Propagation).
- •Алгоритм навчання мережі зворотного поширення похибки (Back Propagation). Алгоритм навчання мережі
- •Нейромережа Delta bar Delta. Недоліки та переваги
- •Нейромережа Extended Delta bar Delta.
- •Мережа скерованого випадкового пошуку (Directed Random Search).Основні компоненти, переваги та недоліки.
- •Нейромережа вищого порядку або функціонально - пов’язана нейронна мережа. Нейронна мережа вищого порядку або функціонально-пов'язана нейронна мережа
- •Мережа Кохонена. Недоліки, переваги та модифікації мережі. Мережа Кохонена
- •Алгоритм функціонування мережі Кохонена. Алгоритм функціонування мережі Кохонена:
- •Мережа квантування навчального вектора (Learning Vector Quantization).Недоліки та переваги. Квантування навчального вектора (Learning vectorquantization)
- •Мережа зустрічного поширення (сounterрropagation). Мережа зустрічного поширення (counterрropagation)
- •Навчання та функціонування мережі зустрічного поширення (сounterрropagation). Навчання мережі
- •Функціонування мережі
- •Імовірнісна нейронна мережа. Імовірнісна нейронна мережа
- •Мережа Хопфілда. Мережа Хопфілда
- •Алгоритм функціонування мережі Хопфілда. Алгоритм функціонування мережі
- •Машина Больцмана (Boltzmann mashine). Машина Больцмана
- •Алгоритм функціонування мережі Больцмана. Алгоритм функціонування мережі
- •Мережа Хемінга. Мережа Хемінга
- •Алгоритм функціонування мережі Хемінга. Алгоритм функціонування мережі Хемінга
- •Мережа двоскерованої асоціативної пам’яті. Недоліки, переваги та модифікації Двоскерована асоціативна пам'ять
- •Мережа адаптивної резонансної теорії. Мережа адаптивної резонансної теорії
- •Алгоритм функціонування мережі адаптивної резонансної теорії. Алгоритм функціонування мережі
- •Базові концепції моделі "Функціонал на множині табличних функцій" (фтф).
- •Навчання та функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Алгоритм для режиму навчання моделі "Функціонал на множині табличних функцій"(фтф).
- •Алгоритм для режиму функціонування моделі "Функціонал на множині табличних функцій" (фтф).
- •Особливості формування передатних функцій в моделі "Функціонал на множині табличних функцій" (фтф).
- •Представлення задач. Логічні моделі
- •Представлення задач. Мережеві моделі
- •Представлення задач. Продукційні моделі
- •Представлення задач. Сценарії
- •Методи вирішення задач. Рішення задач методом пошуку в просторі станів.
- •Методи вирішення задач. Рішення задач методом редукції.
- •Методи вирішення задач. Рішення задач дедуктивного вибору.
- •Методи вирішення задач. Рішення задач, що використовують немонотонні логіки, імовірнісні логіки.
- •Класифікація рівнів розуміння виконавчих систем.
- •Данные и знания. Основные определения.
- •Особливості знань. Перехід від бази даних до бази знань. Особенности знаний. Переход от Базы Данных к Базе Знаний.
- •Неформальні (семантичні) моделі представлення знань. Модели представления знаний. Неформальные (семантические) модели.
- •Формальні моделі представлення знань. Формальные модели представления знаний.
- •Комплексна схема нечіткого планування задач.
- •Особливості планування цілеспрямованих дій.
- •Оцінки складності завдання планування.
- •Призначення експертних систем.
- •Структура експертних систем.
- •Етапи розробки експертних систем.
- •Представлення знань в експертних системах.
- •Методи пошуку рішень в експертних системах.
- •Підготовчий етап роботи зі знанням.
- •Основний етап роботи зі знанням.
- •Системи придбання знань від експертів.
- •Передумови виникнення систем розуміння природної мови. Предпосылки возникновения систем понимания естественного языка
- •Понимание в диалоге
- •Приклади системи обробки природної мови. Примеры системы обработки естественного языка
- •Методи озвучування мови. Методы озвучивания речи
- •Система розпізнавання мовлення. Акустична модель
- •Система розпізнавання мовлення. Лінгвістична модель.
- •Класифікація систем розпізнавання мовлення. Классификация систем распознавания речи
- •Розпізнавання символів. Шаблонні системи. Распознавание символов
- •Розпізнавання символів. Структурні системи.
- •Розпізнавання символів. Ознакові системи.
- •Розпізнавання рукописних текстів. Распознавание рукописных текстов
- •Архітектура експертної системи реального часу. Архитектура экспертной системы реального времени
- •Системи управління з нечіткою логікою.
- •Лінгвістичні змінні та їх використання в системах з нечіткою логікою.
- •Операції над нечіткими множинами.
- •Основна структура і принцип роботи системи нечіткої логіки.
- •Блок фаззіфікації в системі з нечіткою логікою.
- •База правил нечіткої логіки.
- •Блок виводу в системи з нечіткою логікою.
- •Блок дефаззіфікації в системи з нечіткою логікою.
- •Нейрочіпи та їх класифікація.
Формальні моделі представлення знань. Формальные модели представления знаний.
Система ИИ в определенном смысле моделирует интеллектуальную деятельность человека и, в частности, - логику его рассуждений. В грубо упрощенной форме наши логические построения при этом сводятся к следующей схеме: из одной или нескольких посылок (которые считаются истинными) следует сделать "логически верное" заключение (вывод, следствие). Очевидно, для этого необходимо, чтобы и посылки, и заключение были представлены на понятном языке, адекватно отражающем предметную область, в которой проводится вывод. В обычной жизни это наш естественный язык общения, в математике, например, это язык определенных формул и т.п. Наличие же языка предполагает, во - первых, наличие алфавита (словаря), отображающего в символьной форме весь набор базовых понятий (элементов), с которыми придется иметь дело и, во - вторых, набор синтаксических правил, на основе которых, пользуясь алфавитом, можно построить определенные выражения.
Логические выражения, построенные в данном языке, могут быть истинными или ложными. Некоторые из этих выражений, являющиеся всегда истинными. Объявляются аксиомами (или постулатами). Они составляют ту базовую систему посылок, исходя из которой и пользуясь определенными правилами вывода, можно получить заключения в виде новых выражений, также являющихся истинными.
Если перечисленные условия выполняются, то говорят, что система удовлетворяет требованиям формальной теории. Ее так и называют формальной системой (ФС). Система, построенная на основе формальной теории, называется также аксиоматической системой.
Формальная теория должна, таким образом, удовлетворять следующему определению:
Всякая формальная теория F = (A, V, W, R), определяющая некоторую аксиоматическую систему, характеризуется:
Наличием алфавита (словаря), A,
Множеством синтаксических правил, V,
Множеством аксиом, лежащих в основе теории, W,
Множеством правил вывода, R.
Исчисление высказываний (ИВ) и исчисление предикатов (ИП) являются классическими примерами аксиоматических систем. Эти ФС хорошо исследованы и имеют прекрасно разработанные модели логического вывода - главной метапроцедуры в интеллектуальных системах. Поэтому все, что может и гарантирует каждая из этих систем, гарантируется и для прикладных ФС как моделей конкретных предметных областей. В частности, это гарантии непротиворечивости вывода, алгоритмической разрешимости (для исчисления высказываний) и полуразрешимости (для исчислений предикатов первого порядка).
ФС имеют и недостатки, которые заставляют искать иные формы представления. Главный недостаток - это "закрытость" ФС, их негибкость. Модификация и расширение здесь всегда связаны с перестройкой всей ФС, что для практических систем сложно и трудоемко. В них очень сложно учитывать происходящие изменения. Поэтому ФС как модели представления знаний используются в тех предметных областях, которые хорошо локализуются и мало зависят от внешних факторов.
Комплексна схема нечіткого планування задач.
Комплексная схема нечеткого планирования
Недостатком большинства известных в настоящее время систем планирования является их жесткая привязка к схеме планирования. Любая из них всегда ищет решение либо SS-проблемы, либо PR-проблемы. Связано это с фиксацией формы представления информации для планирования. Для классических моделей SS- и PR-проблем эти формы различны. Ясно, однако, что человек в своей деятельности успешно комбинирует шаги планирования из решения SS- и PR-проблем. Вторым недостатком является детерминированность систем планирования. В реальных ИС детерминированность планирования, как правило, не имеет места. Обобщение нечетких SS- и PR-проблем заключается в допущении нечетких состояний и нечетких операторов перехода из состояния в состояние. Разбиение задачи на подзадачи имеет весовые коэффициенты на дугах со значениями из [0, 1], которые интерпретируются как достоверности решения соответствующих подпроблем. Достоверность решения PR-проблемы определяется как минимум достоверностей решения ее подпроблем.
При переходе к обобщенной стратегии из решений нечетких подпроблем PR-проблемы, рассматриваемых как нечеткие SS-проблемы, можно получить решение нечеткой PR-проблемы, рассматриваемой также как нечеткая SS-проблема.
Схемой SS-проблемы называется пара M=(S,G), где S-множество состояний, G-множество отображений g: S->S, называемых операторами. Путем из состояния s0эs в состояние srэs называется конечная последовательность p=(( s0, , g0), (s1, g1),...,(sk-1, gk-1) sk ) , такая, что gio si= si+1 для i=0,..., k-1. SS-проблема-это четверка Р=(S, G, i ,f), где (S, G)-схема SS-проблемы, i, fэs-соответственно начальное и заключительное состояние. Путь х, ведущий из i в f, есть решение Р, а множество всех подобных путей составляет множество решений.
Схемой PR-проблемы называется пара .N=( , Г), где -множество проблем, Г-множество отображений : -> +, называемых операторами. Если Рэ , э +, то р( )-отображение, представляющее проблему Р в виде цепочки подпроблем =P1...Pn. Для схемы N= ( , Г) накрывающий путь q из проблемы 0 в конечное множество проблем k= { 1,..., n}э | является конечной последовательностью, где q= ((x0 , y0), (x1, y1),..., (xk-1, yk-1), xk), xi э + для i=0,...,k, yэг+ для i=0,..., k-1, так что x0= 0, xkэ +k. PR-проблема представляет собой четверку Z=( , Г, Ро, Ф), где ( , Г)-схема PR-проблемы, Роэ -начальная проблема, Ф -множество конечных проблем. Решение Z представляет собой накрывающий путь ( , Г) из Ро в Ф/x Ф, множество решений xz, есть множество всех решений Z.
Приведенные определения рассматривают только синтаксис описания проблемы независимо от смысла используемой формальной схемы. В схеме SS-проблемы синтаксис и семантика могут совпадать в более сложных случаях, например в схеме PR-проблемы они должны различаться. Под семантикой здесь понимается способ, с помощью которого решение искомой проблемы получается из решений подзадач, к которым она свелась. Приведем формальное определение семантики сведения задачи к подзадачам.
Импликата проблемы Р есть пара ( , ), где =pip2... Pk - цепочка проблем, -отображение из Хр1 Хр2 ... Хрk в Хр( Хрi обозначает
Множество решений Рi<). Импликативная схема есть тройка =(Р, , ), такая, что Р - проблема, ( , ) - импликата Р. Множество Т импликативных схем называется импликативной сетью. Множество проблем импликативной сети
t={x|( )(( =(Р, , )) ((х=Р)\/(х- символ ))}.
Объединим синтаксис и семантику подхода, основанного на разбиении проблемы на подпроблемы. PR-проблема Z=( , Г, Ро, Ф) представляет импликативную сеть Т тогда и только тогда, когда = t и для каждого =(Р, , )эt существует в точности одно эг, такое, что Р = , и для каждого эг, и для каждого Р из области определения существует в точности одно =(Р, , ) T, такое,что =P Проблема Р решена тогда и только тогда, когда Хp- непустое множество.
Если PR-проблема представляет импликативную сеть, то проблема Р0 разрешима. Для существования решения достаточно, чтобы импликативные схемы в импликативной сети Т существовали только для всех пар (xi, у,),i=0,..., k-1, входящих в накрывающий путь схемы PR-проблемы. В этом случае синтаксис и семантика PR-проблемы не совпадают. В данном случае PR-проблема частично представляет импликативную сеть Т.
Подчеркнем, что как синтаксис, так и семантика подхода разбиения проблемы на подпроблемы не предполагают предварительного определения проблемы. Поэтому можно в качестве проблемы выбрать SS-проблему.
Рассмотрим понятие, объединяющее подходы разбиения проблемы на под-проблемы и поиска в пространстве состояний. 1-проблемой (объединенной проблемой) называется четверка R=(B, Г, Р0, Т), где В-множество SS-проблем;
(В, Г)-схема PR-проблем; р0эb -основная проблема;T-импликативная сеть, такая, что T B . Кроме того, R есть решение SS-проблемы Р0. Учитывая связь между существованием импликативной сети и разрешимостью проблемы, легко показать, что если для заданной I-проблемы найден накрывающий путь х из Р0 на множество Ф' В, проблемы Ф' разрешимы как SS-проблемы, если х частично представляет импликативную сеть Т, то и проблема R разрешима как SS-проблема.
Рассмотрим головоломку "Ханойская башня" . Имеются три стержня 1, 2 и 3 и три диска различных размеров А, В, С с отверстием в центре, которые могут одеваться на стержни. В исходной позиции диски находятся на стержне 1; самый большой диск С-внизу, самый маленький диск А- наверху. Требуется перенести все диски на стержень 3, перемещая за один раз только один диск. Брать можно только самый верхний диск на стержне, причем его нельзя класть на диск, меньший по размерам. Используем для записи состояний и операторов классическую формализацию. Выражение ijk обозначает конфигурацию, при которой диск С находится на стержне i, диск В - на стержне j и диск А-на стержне k. Выражение xij обозначает действие, при котором диск х перемещается со стержня i на стержень j. С помощью этого формализма можно просто записать все состояния и переходы головоломки в виде треугольного графа, где вершины соответствуют расположению дисков на стержнях, а дуги-возможным перекладываниям дисков (рис.1). На этой головоломке легко проиллюстрировать все основные понятия обобщенной стратегии проблем.
Представим головоломку в виде модели I-проблемы. Рассмотрим I-проблему R=(B, Г, P0T), где B={Р0, P1,...,P9}; Г={ }; T=={ 1, 2, 3}. SS-проблемы Р0,P1...,P9 определяются следующим образом. На рис. 1 показана схема SS-проблемы M==(S, G), где
P0=(S, G, 111, 333), P1=(S, G, 111, 122), P2=(S, G, 122, 322),
Рз=(S, G, 322, 333), P4=(S, G, 111, 113), P5,=(S, G, 113, 123),
P6==(S, G, 123, 122), P7=(S, G, 322, 321), P8=(S, G, 321, 331),
P9=(S G, 331,333).
Схема PR-проблемы N= (В, Г) приведена на рис. 2; импликативная сеть Т- на рис.3, причем 1=(P0, P1Р2Р3, ), 2= (P1, P4P5P6, ), з== (Р3, P7P8P9, ), где (x1,x2,x3)=x1x2x3.
Проблемы Р2 и P4-P9 решаются перекладыванием одного диска и являются элементарными. Проблемы P1 и Р3 решаются с помощью манипуляций только с дисками В и А и являются более простыми, чем Р0. Проблемы P1 и Р3 решаются, а проблема Р0 сводится к P1, P2 и Р3 аналогичной манипуляцией с дисками, синтаксис которой выражен оператором , а семантика - отображением .
Представление этой головоломки в виде PR-проблемы (рис.2) является более компактным и наглядным, чем представление в виде SS-проблемы (рис.1), а представление в виде I-проблемы (рис..3) сочетает достоинство обоих и показывает взаимосвязь подпроблем и тех действий, которые нужно выполнить, чтобы решить головоломку.
Приведенные определения обобщаются на нечеткий случай, когда состояние системы, для которой строится модель решения проблемы, не является точно заданным, а результаты действий системы
Неоднозначны.
Например,у робототехнической системы это может быть связано с несовершенством эф-фекторов и рецепторов, с ограниченными размерами внутренней модели, не отражающей сложности окружающего мира.
Нечеткой SS-проблемой назовем SS-проблему, у которой i , f-нечеткие множества, операторы g эg-нечеткие матрицы, -решением нечеткой SS-проблемы называется путь g=g1...gn,giэg,i=1,...,n, такой, что iog1o... ... Ognof , где О - максимальное произведение нечетких матриц.
Нечеткой PR-проблемой называется PR-проблема, у которой элементам эг приписывается степень принадлежности ( )э[0,1], -решением нечеткой PR-проблемы называется решение PR-проблемы, для которой min ij , ij эyi.
Накрывающий путь в этом случае называется накрывающим -путем. Степень принадлежности ( ) интерпретируется как степень возможности разбиения проблемы на подпроблемы.
Нечеткой импликативной схемой называется импликативная схема, все отображения которой имеют степень принадлежности (( )э[0,1]. Степень принадлежности интерпретируется как возможность получения решения проблемы из решений соответствующих подпроблем. Нечеткой импликативной сетью называется импликативная сеть с нечеткими импликативными схемами.Нечеткая PR-проблема представляет нечеткую импликативную сеть, если кроме обычных условий для импликативной сети выполняется неравенство ( ) ( ) ,
Т. Е. Возможность разбиения на подпроблемы не меньше возможности получения решения для каждой пары соответствующих и .
Аналогично определяется нечеткая I-проблема. Но построить -решение нечеткой PR-проблемы по -решениям ее нечетких подпроблем можно лишь в частных случаях и при наложении дополнительных условий. Пусть задана нечеткая PR-проблема, где -нечеткие SS-проблемы, и существует простейшее -решение Z,
Т.е.такое э +,что p ,и если =P1..Pn,то все проблемы Pi -разрешимы,
Где Pi=(Si,Gi,Ji,Fi ). -решение проблемы P0 существует при ( ) ( ) для импликативной сети.Запишем более конструктивное условие для этого.Пусть для всех i оператор gi есть -путь решения проблемы Piи Fi=Ji+1.Тогда,если выполняется
Max [Fn (Fn-1 (...F1 (J o g1)o g2)...)O gn)]
И g=g1...gn,то g- -решение SS-проблемы P0.
