6. Основные свойства нечетких множеств

Пусть А, В, С - нечеткие множества, тогда выполняются следующие свойства:

- коммутативность;

- ассоциативность;

- идемпотентность;

- дистрибутивность;

A = A, где  - пустое множество, т.е. (x) = 0 >xE;

A = ;

AE = A, где E - универсальное множество;

AE = E;

- теоремы де Моргана.

В отличие от четких множеств, для нечетких множеств в общем случае:

A  ,

A  E.

(Что, в частности, проиллюстрировано выше в примере наглядного представления нечетких множеств).

Замечание. Введенные выше операции над нечеткими множествами основаны на использовании операций max и min. В теории нечетких множеств разрабатываются вопросы построения обобщенных, параметризованных операторов пересечения, объединения и дополнения, позволяющих учесть разнообразные смысловые оттенки соответствующих им связок "и", "или", "не".

Один из подходов к операторам пересечения и объединения заключается в их определении в классе треугольных норм и конорм.

Треугольной нормой (t-нормой) называется двуместная действительная функция T:[0,1][0,1][0,1], удовлетворяющая следующим условиям:

T(0,0)=0; T(_A, 1) = _A; T(1,  _A) = _A - ограниченность;

T(_A, _B) T(_C, _D), если _A_C , _B_D - монотонность;

T(_A ,  _B) = T(_B, _A) - коммутативность;

T(_A, T( _B, _C))= T( T(_A, _B), _C) - ассоциативность;

Простым случаем треугольных норм являются:

min(_A ,  _B)

произведение _A_B

max(0, _A +  _B -1).

Треугольной конормой (t-конормой) называется двуместная действительная функция :[0,1][0,1] [0,1], со свойствами:

T(1,1) = 1; T(_A ,0) =  _A ; T(0,  _A) = _A - ограниченность;

T(_A, _B ) T(_C, _D ), если _A _C , _B _D - монотонность;

T(_A , _B ) = T(_B , _A ) - коммутативность;

T(_A, T(_B , _C )) = T(T(_A , _B ), _C ) - ассоциативность.

Примеры t-конорм:

max(_A,  _B)

_A + _B - _A _B

min(1, _A + _B).

Алгебраические операции над нечеткими множествами

Алгебраическое произведение A и B обозначается AB и определяется так:

xE _AB (x) = _A(x)_B(x).

Алгебраическая сумма этих множеств обозначается и определяется так:

xE =  _A(x) + _B(x)_A(x)_B(x).

Для операций {, } выполняются свойства:

- коммутативность;

- ассоциативность;

A = , A  = A, AE = A, A E = E

- теоремы де Моргана.

Не выполняются:

- идемпотентность;

- дистрибутивность;

а также A = , A = E.

Замечание. Доказательства приводимых свойств операций над нечеткими множествами мы оставляем читателю.

Для примера докажем свойство: . Обозначим _A(x) через a, _B(x) через b. Тогда в левой части для каждого элемента х имеем: 1-ab, а в правой: (1-a)+(1-b)-(1-a)(1-b) = 1-a+1-b-1+a+b-ab = 1-ab. 

Докажем, что свойство дистрибутивности не выполняется, т.е. A(B C)  (AB) (AC). Для левой части имеем: a(b+c-bc) = ab+ac-abc; для правой: ab+ac-(ab)(ac) = ab+ac+a²bc. Это означает, что дистрибутивность не выполняется при aa². 

Замечание. При совместном использовании операций {, ,,} выполняются свойства:

А(BC) = (AB)(A  C);

А (BC) = (AB)(AC);

А (BC) = (A B)(A C);

А (BC)=(A B)(A C).

Продолжим обзор основных операций над нечеткими множествами.

На основе операции алгебраического произведения (по крайней мере для целых  эта основа очевидна) определяется операция возведения в степень  нечеткого множества A, где  - положительное число. Нечеткое множество A определяется функцией принадлежности _A^ = ^_A(x). Частным случаем возведения в степень являются:

CON(A) = A² - операция концентрирования,

DIL(A) = A^0,5 - операция растяжения,

которые используются при работе с лингвистическими неопределенностями.

Умножение на число. Если  - положительное число, такое, что   _A(x)1, то нечеткое множество A имеет функцию принадлежности:

A(x) = A(x).

Выпуклая комбинация нечетких множеств. Пусть A₁, A₂,.., A_n - нечеткие множества универсального множества E, а ₁, ₂, ..., _n - неотрицательные числа, сумма которых равна 1.

Выпуклой комбинацией A₁, A₂,.., A_n называется нечеткое множество A с функцией принадлежности:

xE _A(x₁, x₁,..., x_n) = ₁_A1(x) + ₂_A2(x) + ... + _n_Ai(x).

Декартово произведение нечетких множеств. Пусть A₁, A₂, ..., A_n - нечеткие подмножества универсальных множеств E₁, E₂, ..., E_n соответственно. Декартово произведение A = A₁A₂  ...A_n является нечетким подмножеством множества E = E₁E₂  ...E_n с функцией принадлежности:

_A(x₁, x₁, ..., x_n) = min{ _A1(x₁), _A2(x₂) , ... , _Ai(x_n) }.

Оператор увеличения нечеткости используется для преобразования четких множеств в нечеткие и для увеличения нечеткости нечеткого множества.

Пусть A - нечеткое множество, E - универсальное множество и для всех xE определены нечеткие множества K(х). Совокупность всех K(х) называется ядром оператора увеличения нечеткости Ф. Результатом действия оператора Ф на нечеткое множество A является нечеткое множество вида:

Ф(A, K) = _A (x)K(х),

где _A(x)K(х) - произведение числа на нечеткое множество.

Пример:

E = {1,2,3,4};

A = 0,8/1+0,6/2+0/3+0/4;

K(1) = 1/1+0,4/2;

K(2) = 1/2+0,4/1+0,4/3;

K(3) = 1/3+0,5/4;

K(4) = 1/4.

Тогда

Ф(A,K) = _A(1) K(1) _A(2)K(2) _A(3)K(3) _A(4)K(4) =

= 0,8(1/1+0,4/2)  0,6(1/2+0,4/1+0,4/3) =

= 0,8/1+0,6/2+0,24/3.

Четкое множество -уровня (или уровня ). Множеством -уровня нечеткого множества A универсального множества E называется четкое подмножество A универсального множества E, определяемое в виде:

A ={x/ _A(x)}, где 1.

Пример: A = 0,2/x₁ + 0/x₂ + 0,5/x₃ + 1/x₄ ,

тогда A_0.3 = {x₃,x₄},

A_0.7 = {x₄}.

Достаточно очевидное свойство: если ₁ ₂ , то A_1 A_2 .

Теорема о декомпозиции. Всякое нечеткое множество A разложимо по его множествам уровня в виде:

A = A _, где A_ - произведение числа  на множество A, и  "пробегает" область значений M функции принадлежности нечеткого множества A.

Пример: A = 0,1/x₁ + 0/x₂ + 0,7/x₃ + 1/x₄ представимо в виде:

A = 0,1(1,0,1,1)  0,7(0,0,1,1,)  1(0,0,0,1)=

= (0,1/x₁ + 0/x₂ + 0,1/x₃ + 0,1/x₄) (0/x₁ + 0/x₂ + 0,7/x₃ + 0,7/x₄)

(0/x₁ + 0/x₂ + 0/x₃ + 1/x₄) = 0,1/x₁ +0/x₂ +0,7/x₃ +1/x₄ .

Если область значений функции принадлежности состоит из n градаций ₁ ₂ ₃ ... _n, то A (при фиксированных значениях градаций) представимо в виде:

A = _iA_i,

т.е. определяется совокупностью обычных множеств { A_1, A_2, ..., A_i}, где A_1 A_2 , ..., A_i.

7. Лингвистические переменные. Примеры лингвистических переменных. Понятие терма. Определение количества термов

Лингвистическая переменная — в теории нечётких множеств, переменная, которая может принимать значения фраз из естественного или искусственного языка. Например, лингвистическая переменная «скорость» может иметь значения «высокая», «средняя», «очень низкая» и т. д. Фразы, значение которых принимает переменная, в свою очередь являются именами нечетких переменных и описываются нечетким множеством.

Пример: нечёткий возраст

Рассмотрим лингвистическую переменную, описывающую возраст человека, тогда:

x: «возраст»;

X: множество целых чисел из интервала [0, 120];

T(x): значения «молодой», «зрелый», «старый». множество T(x) - множество нечетких переменных, для каждого значения: «молодой», «зрелый», «старый», необходимо задать функцию принадлежности, которая задает информацию о том, людей какого возраста считать молодыми, зрелыми, старыми;

G: «очень», «не очень». Такие добавки позволяют образовывать новые значения: «очень молодой», «не очень старый» и пр.

M: математическое правило, определяющее вид функции принадлежности для каждого значения образованного при помощи правила G.

Терм — выражение формального языка (системы), является формальным именем объекта или именем формы. Понятие терма определяется индуктивно. Термом называется символьное выражение: t(X1, X2, … , Xn), где t — имя терма, называемая функтор или «функциональная буква», а X1, X2, … , Xn — термы, структурированные или простейшие.

8. Нечеткие отношения и их свойства

Одним из основных понятий теории нечетких множеств считается понятие нечеткого отношения. Эти отношения позволяют формализовать неточные утверждения типа « почти равно » или « значительно больше чем ». Приведем определение нечеткого отношения и комбинации нечетких отношений.

Нечеткое отношение между двумя непустыми множествами (четкими) и будем называть нечеткое множество, определенное на декартовом произведении

9.

Нечеткий логический вывод– это процесс получения нечетких заключений на основе нечетких условий или предпосылок.

Применительно к нечеткой системе управления объектом, нечеткий логический вывод– это процесс получения нечетких заключений о требуемом управлении объектом на основе нечетких условий или предпосылок, представляющих собой информацию о текущем состоянии объекта.

Логический вывод осуществляется поэтапно.

Фаззификация(введение нечеткости) – это установка соответствия между численным значением входной переменной системы нечеткого вывода и значение функции принадлежности соответствующего ей терма лингвистической переменной. На этапе фаззификации значениям всех входным переменным системы нечеткого вывода, полученным внешним по отношению к системе нечеткого вывода способом, например, при помощи статистических данных, ставятся в соответствие конкретные значения функций принадлежности соответствующих лингвистических термов, которые используются в условиях (антецедентах) ядер нечетких продукционных правил, составляющих базу нечетких продукционных правил системы нечеткого вывода. Фаззификация считается выполненной, если найдены степени истинности (a) всех элементарных логических высказываний вида « ЕСТЬ », входящих в антецеденты нечетких продукционных правил, где - некоторый терм с известной функцией принадлежности µ(x), - четкое численное значение, принадлежащее универсуму лингвистической переменной .

10.

Понятие нечеткого алгоритма, впервые введенное Л.А. Заде, является важным инструментом для приближенного анализа сложных систем и процессов принятия решений. Под нечетким алгоритмом (fuzzy algorithm) понимается упорядоченное множество нечетких инструкций (правил), в формулировке которых содержатся нечеткие указания (термы).

Переход от полученного нечеткого множества к единственному четкому значению ()о, которое и признается затем в качестве решения поставленной задачи, называется дефаззификацией (defuzzyfication).

11. Алгоритм Мамдани (Mamdani) нашел применение в первых нечетких системах автоматического управления. Был предложен в 1975 году английским математиком Е.Мамдани для управления паровым двигателем.

Формирование базы правил системы нечеткого вывода осуществляется в виде упорядоченного согласованного списка нечетких продукционных правил в виде «IF A THEN B », где антецеденты ядер правил нечеткой продукции построены при помощи логических связок «И», а консеквенты ядер правил нечеткой продукции простые.

Фаззификация входных переменных осуществляется описанным выше способом, так же, как и в общем случае построения системы нечеткого вывода.

Агрегирование подусловий правил нечеткой продукции осуществляется при помощи классической нечеткой логической операции «И» двух элементарных высказываний A, B : T(A ∩ B) = min{ T(A);T(B) } .

Активизация подзаключений правил нечеткой продукции осуществляется методом min-активизации μ (y) = min{c; μ (x) } , где μ (x) и c – соответственно функции принадлежности термов лингвистических переменных и степени истинности нечетких высказываний, образующих соответствующие следствия (консеквенты) ядер нечетких продукционных правил.

Аккумуляция подзаключений правил нечеткой продукции проводится при помощи классического для нечеткой логики max-объединения функций принадлежности ∀ x ∈ X μ A B x = max{ μ A x ; μ B x } .

Дефаззификация проводится методом центра тяжести или центра площади.

12 Для реализации систем на базе нечетких правил разработано множество алгоритмов нечеткого вывода. Алгоритмы нечеткого вывода различаются главным образом видом используемых правил, логических операций и разновидностью метода дефазификации. Разработаны модели нечеткого вывода Мамдани, Сугено, Ларсена, Цукамото.

Например, правила нечеткого вывода заданы следующим образом:

П1: если x есть A, то w есть D, П2: если y есть B, то w есть E, П3: если z есть C, то w есть F,

где x, y, z – имена входных переменных (четкого формата);

w – имя переменной вывода;

A, B, C, D, E, F – заданные функции принадлежности.

13

FAT-теорема Б. Коско: Любая классическая математика может быть аппроксимирована средствами математики нечеткой. Т.е. возможно построить нечёткую систему максимально приближающую функцию колебания курса некоторой валюты.

14

Основные достоинства системы объяснений в ЭС.

1) Объяснения помогают пользователю использовать систему для решения своих задач,

2) Так как ЭС используются в слабоформализованных областях, где нет четких алгоритмов, то объяснения позволяют пользователю убедится в правильности полученных результатов, повышают его степень доверия к ЭС,

3) Служат для обучения пользователя,

4) Служат для отладки базы знаний ЭС

Основные недостатки системы объяснений в ЭС.

1) Запросы на объяснение интерпретируются только в одном узком смысле (вопросы ПОЧЕМУ и КАК интерпретируются только в терминах целей и правил),

2) Не все действия системы могут быть объяснены (например, почему сначала проверялась одна гипотеза, а потом другая),

3) Объяснения, основываются фактически на треке выполнения программы, поэтому при смене интерпретатора необходимо менять и систему объяснений.

15.

Тщательная проработка и учет рисков стала неотъемлемой частью и важной составляющей успеха деятельности каждой компании. Однако все чаще компаниям приходится принимать решения в условиях неопределенности, которые могут привести к непредвиденным последствиям и, соответственно, нежелательным исходам и убыткам. Особенно серьезные последствия могут иметь неправильные решения относительно долгосрочных инвестиций, которые обычно подразумеваются при оценке инвестиционных проектов. Поэтому своевременное выявление, а также адекватная и наиболее точная оценка рисков является одной из насущных проблем современного инвестиционного анализа.

К сожалению, существующие на сегодняшний день методы учета и оценки рисков не лишены субъективизма и существенных предпосылок, приводящих к неправильным оценкам риска проектов. Теория нечеткой логики – это новый, динамично развивающийся подход к оценке риска. В последнее время нечеткое моделирование является одной из наиболее активных и перспективных направлений прикладных исследований в области управления и принятия решений.

В данной работе представлены:

Определение риска и неопределенности,

обоснование необходимости применения новых подходов к анализу риска,

краткое описание метода нечеткой логики,

примеры применения нечеткой логики

16.

Решаемые нейронными сетями задачи весьма разнообразны. Неудивительно, что этот метод нашел применение в таких сферах, как медицина, финансовый менеджмент и политическая наука. В целом можно свести основную часть решаемых с помощью ИНС проблем к нескольким категориям задач.

Классификация. Задачей нейронной сети является распределение объектов по нескольким заранее установленным непересекающимся классам

В политической науке нейросетевой метод используется для решения задач классификации, в частности в ивент-анализе. Заранее определяется класс конфликтных событийных последовательностей, ведущих к мирному урегулированию, и класс конфликтных событийных последовательностей, ведущих к военному противостоянию

17.

И ску́сственный нейро́н (математический нейрон Маккалока — Питтса[en], формальный нейрон[1]) — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации[2] или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера

18. Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал Y, получаемый на выходе входного сумматора Sigma. Наиболее часто используются следующие функции активации.

1. Единичный скачок или жесткая пороговая функция

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

Функция активации. Жесткая пороговая функция

2. Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Функция активации. Линейный порог

3. Сигмоидальная функция или сигмоид

Монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг (1973 год) обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

19.

Иску́сственная нейро́нная се́ть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети У. Маккалока и У. Питтса[en][1]. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.

20.

21.

И НС (Искусственные Нейронные Сеть) может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями. В наиболее распространенном семействе сетей первого класса, называемых многослойным перцептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рисунке представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети. 22

23.   перцептрон- математическая модель процесса восприятия (См. Восприятие). Сталкиваясь с новыми явлениями или предметами, человек их узнаёт, то есть относит к тому или иному понятию (классу). Так, мы легко узнаём знакомых, даже если они изменили причёску или одежду, можем читать рукописи, хотя каждый почерк имеет свои особенности, узнаём мелодию в различной аранжировке и т.д. Эта способность человека и получила название феномена восприятия. Человек умеет на основании опыта вырабатывать и новые понятия, обучаться новой системе классификации. Например, при обучении различению рукописных знаков ученику показывают рукописные знаки и сообщают, каким буквам они соответствуют, то есть к каким классам эти знаки относятся; в результате у него вырабатывается умение правильно классифицировать знаки.

Каждая отдельная клетка называется узлом или персептроном:

нейронная сеть, состоящая из слоя узлов между входом и выходом, - однослойным персептроном: а сеть, состоящая из нескольких слоев - многослойным персептроном:

Справедливо утверждение, что многослойный персептрон более эффективен, чем однослойный

24.

Обучение – это процесс, в котором свободные параметры нейронной сети настраиваются посредством моделирования среды, в которую эта сеть встроена. Тип обучения определяется способом подстройки этих параметров.

Это определение процесса обучения нейронной сети предполагает следующую последовательность событий:

В нейронную сеть поступают стимулы из внешней среды.

В результате первого пункта изменяются свободные параметры нейронной сети.

После изменения внутренней структуры нейронная сеть отвечает на возбуждения уже иным образом.

Вышеуказанный список четких правил решения проблемы обучения нейронной сети называется алгоритмом обучения. Несложно догадаться, что не существует универсального алгоритма обучения, подходящего для всех архитектур нейронных сетей. Существует лишь набор средств, представленный множеством алгоритмов обучения, каждый из которых имеет свои достоинства. Алгоритмы обучения отличаются друг от друга способом настройки синаптических весов нейронов. Еще одной отличительной характеристикой является способ связи обучаемой нейронной сети с внешним миром. В этом контексте говорят о парадигме обучения, связанной с моделью окружающей среды, в которой функционирует данная нейронная сеть.

Обучение нейронной сети с учителем предполагает, что для каждого входного вектора из обучающего множества существует требуемое значение выходного вектора, называемого целевым. Эти вектора образуют обучающую пару. Веса сети изменяют до тех пор, пока для каждого входного вектора не будет получен приемлемый уровень отклонения выходного вектора от целевого.

Обучение нейронной сети без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Обучающее множество состоит лишь из входных векторов. Алгоритм обучения нейронной сети подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.

25.

Пусть имеется нейронная сеть, выполняющая преобразование F:X®Y векторов X из признакового пространства входов X в вектора Y выходного пространства Y. Сеть находится в состоянии W из пространства состояний W. Пусть далее имеется обучающая выборка (Xa,Ya), a = 1..p. Рассмотрим полную ошибку E, делаемую сетью в состоянии W.

Отметим два свойства полной ошибки. Во-первых, ошибка E=E(W) является функцией состояния W, определенной на пространстве состояний. По определению, она принимает неотрицательные значения. Во-вторых, в некотором обученном состоянии W*, в котором сеть не делает ошибок на обучающей выборке, данная функция принимает нулевое значение. Следовательно, обученные состояния являются точками минимума введенной функции E(W).

Таким образом, задача обучения нейронной сети является задачей поиска минимума функции ошибки в пространстве состояний, и, следовательно, для ее решения могут применяться стандарные методы теории оптимизации. Эта задача относится к классу многофакторных задач, так, например, для однослойного персептрона с N входами и M выходами речь идет о поиске минимума в NxM-мерном пространстве.

На практике могут использоваться нейронные сети в состояниях с некоторым малым значением ошибки, не являющихся в точности минимумами функции ошибки. Другими словами, в качестве решения принимается некоторое состояние из окрестности обученного состояния W*. При этом допустимый уровень ошибки определяется особенностями конкретной прикладной задачи, а также приемлимым для пользователя объемом затрат на обучение.

Задача

Синаптические весовые коэффициенты однослойного персептрона с двумя входами и одним выходом могут принимать значения -1 или 1. Значение порога равно нулю. Рассмотреть задачу обучения такого персептрона логической функции “и”, как задачу многофакторной комбинаторной оптимизации. Для обучающей выборки использовать все комбинации двоичных входов.

26. Дельта-правило Собственно дельта-правилом называют математическую, несколько более общую форму записи правил Хебба. Пусть вектор {X}={x_1,x_2,...x_r,...x_m} — вектор входных сигналов, а вектор {D}={d_1,d_2,...d_k,...d_n} — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь n — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор {Y}={y_1,y_2,...y_k,...y_n} выходных значений перцептрона. Тогда можно определить вектор ошибки ={e_1,e_2,...e_k,...e_n}, размерность которого совпадает размерностью вектором выходных сигналов. Компоненты вектора ошибок определяются как разность между ожидаемым и реальным значением выходного сигнала перцептронного нейрона:

{\Epsilon=D-Y}

При таких обозначениях формулу для корректировки j-го веса i-го нейрона можно записать следующим образом:

w_j(t+1)=w_j(t)+e_i x_j

Номер сигнала j изменяется в пределах от единицы до размерности входного вектора m. Номер нейрона i изменяется в пределах от единицы до количества нейронов n. Величина t — номер текущей итерации обучения. Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности \eta, на который умножается величина ошибки. Этот коэффициент называют скоростью обучения. Таким образом, итоговая формула для корректировки весов:

w_j(t+1)=w_j(t)+\eta e_i x_j

27.

На приведенном рисунке использованы следующие условные обозначения:

• каждому слою нейронной сети соответствует своя буква, например: входному слою соответствует буква  , а выходному –  ;

• все нейроны каждого слоя пронумерованы арабскими цифрами;

•  – синаптический вес между нейронами   и  ;

•  – выход нейрона  .

В качестве активационной функции в многослойных персептронах, как правило, используется сигмоидальная активационная функция, в частности логистическая:

где   – параметр наклона сигмоидальной функции. Изменяя этот параметр, можно построить функции с различной крутизной. Оговоримся, что для всех последующих рассуждений будет использоваться именно логистическая функция активации, представленная только, что формулой выше.

Сигмоид сужает диапазон изменения так, что значение   лежит между нулем и единицей. Многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, только в случае присутствия нелинейности. Сжимающая функция обеспечивает требуемую нелинейность. В действительности имеется множество функций, которые могли бы быть использованы. Для алгоритма обратного распространения ошибки требуется лишь, чтобы функция была всюду дифференцируема. Сигмоид удовлетворяет этому требованию. Его дополнительное преимущество состоит в автоматическом контроле усиления. Для слабых сигналов (т.е. когда   близко к нулю) кривая вход-выход имеет сильный наклон, дающий большое усиление. Когда величина сигнала становится больше, усиление падает. Таким образом, большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления.

28.

Метод обратного распространения ошибки— метод обучения многослойного перцептрона. Впервые метод был описан в 1974 г. А.И. Галушкиным[1], а также независимо и одновременно Полом Дж. Вербосом[2]. Далее существенно развит в 1986 г. Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом[3] и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа)[4].. Это итеративный градиентный алгоритм, который используется с целью минимизации ошибки работы многослойного перцептрона и получения желаемого выхода.

Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Барцев и Охонин предложили сразу общий метод («принцип двойственности»), приложимый к более широкому классу систем, включая системы с запаздыванием, распределённые системы, и т. п.[5]

Для возможности применения метода обратного распространения ошибки передаточная функция нейронов должна быть дифференцируема. Метод является модификацией классического метода градиентного спуска.

29.

Проблемы обучения нейронных сетей

Хотя основной алгоритм обучения многослойных нейронных сетей (BPM) открыт уже достаточно давно и весьма хорошо исследован, обучение нейронных сетей в данный момент по-прежнему больше напоминает шаманство, нежели технологию. Исследователи вынуждены пробовать множество разнообразных архитектур сетей, обучать каждую из них в отдельности и затем выбирать ту, которая наилучшим образом решает поставленную задачу Разумеется, существуют общие рекомендации по выбору архитектуры сети для решения определенного класса задач, существует также известная формула для грубой оценки количества элементов скрытого слоя по количеству необходимого числа синаптических весов в многослойной сети с сигмоидальными передаточными функциями размерность входного сигнала, размерность выходного сигналачисло элементов обучающей выборки

Получив необходимое число весов, можно рассчитать число нейронов в скрытых слоях. Например, если речь идет о двухслойной сети, число нейронов в скрытом слое будет

Однако это еще не решает проблемы, так как после задания архитектуры нейронной сети ее все равно необходимо обучать. По своей сути нейронная сеть является универсальным аппроксиматором. Это означает, что в процессе настройки она не вычисляет целевую функцию, а как бы лишь подбирает внутренний набор функций, при сложении которых образуется функция, выдающая на выходе ряд значений, напоминающий исходный ряд, предъявленный ей в процессе обучения (аппроксимационный полином). Отсюда следует вывод, что выходные данные работающей нейронной сети всегда будут содержать ошибку, причем величина этой ошибки никогда заранее не известна. Известно только, что в процессе обучения данная ошибка, возможно, будет уменьшена до некоторого приемлемого уровня. Рабочая точка нейросетевой системы в процессе обучения скользит по поверхности ошибок по направлению к глобальному минимуму целевой функции. Причем, в силу неровности рельефа поверхности ошибок, сеть может застрять в локальном минимуме очень далеко от ожидаемого глобального. Если склон локального минимума достаточно крут, а шаг обучения слишком мал, чтобы рабочая точка выкатилась на его край, наступает состояние, называемое параличом сети, при котором сеть на обучающей выборке дает недостаточно точные результаты, а обучение при этом все равно останавливается Существует также состояние, когда ошибка обучения начинает беспорядочно колебаться (осциллировать) и сеть входит в состояние переобучения (рис. 4). Это соответствует слишком точной аппроксимации обучающих данных

Состояние переобучения: 1; истинная зависимость; 2 слишком точная аппроксимация полиномом

Также имеются трудности, связанные с внутренней организацией входных данных Это так называемое проклятие размерности В общем случае входные данные содержат шум и некоторое количество малозначащей информации. При попытке заставить сеть разобрать все это по кластерам без предварительной подготовки входных данных мы рискуем получить неверные обобщения. С другой стороны, если внутренняя структура данных нам неизвестна (задача кластеризации в чистом виде), мы в подобной ситуации вынуждены увеличивать число входных элементов сети. Необходимое число входных нейронов быстро возрастает с увеличением размерности кластеризуемого пространства (приблизительно как 2 Nа вслед за увеличением числа входных нейронов неизбежно изменяется и число нейронов скрытого слоя, иначе процесс кластеризации может сопровождаться потерями значимой информации. Это усложняет процесс обучения нейронной сети и делает его менее предсказуемым

30.

Различия вычислительных процессов в сетях часто обусловлены способом взаимосвязи нейронов, поэтому выделяют следующие виды сетей :

Сети прямого распространения – сигнал проходит по сети от входа к выходу в одном направлении;

Сети с обратными связями;

Сети с боковыми обратными связями;

Гибридные сети;

В целом, по струтуре связей ИНС могут быть сгруппированы в два класса : сети прямого распространения – без обратных связей в струтуре и рекуррентные сети – с обратными связями.

31.

Нейронные сети Кохонена — класс нейронных сетей, основным элементом которых является слой Кохонена. Слой Кохонена состоит из адаптивных линейных сумматоров («линейных формальных нейронов»). Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «Победитель получает всё»: наибольший сигнал превращается в единичный, остальные обращаются в ноль.

По способам настройки входных весов сумматоров и по решаемым задачам различают много разновидностей сетей Кохонена. Наиболее известные из них:

сети векторного квантования сигналов, тесно связанные с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или K-средних);

самоорганизующиеся карты Кохонена;

сети векторного квантования, обучаемые с учителем

Самоорганизующаяся карта состоит из компонентов, называемых узлами или нейронами. Их количество задаётся аналитиком. Каждый из узлов описывается двумя векторами. Первый — т. н. вектор веса m, имеющий такую же размерность, что и входные данные. Второй — вектор r, представляющий собой координаты узла на карте. Карта Кохонена визуально отображается с помощью ячеек прямоугольной или шестиугольной формы; последняя применяется чаще, поскольку в этом случае расстояния между центрами смежных ячеек одинаковы, что повышает корректность визуализации карты.

Изначально известна размерность входных данных, по ней некоторым образом строится первоначальный вариант карты. В процессе обучения векторы веса узлов приближаются к входным данным. Для каждого наблюдения (семпла) выбирается наиболее похожий по вектору веса узел, и значение его вектора веса приближается к наблюдению. Также к наблюдению приближаются векторы веса нескольких узлов, расположенных рядом, таким образом если в множестве входных данных два наблюдения были схожи, на карте им будут соответствовать близкие узлы. Циклический процесс обучения, перебирающий входные данные, заканчивается по достижении картой допустимой (заранее заданной аналитиком) погрешности, или по совершении заданного количества итераций. Таким образом, в результате обучения карта Кохонена классифицирует входные данные на кластеры и визуально отображает многомерные входные данные в двумерной плоскости, распределяя векторы близких признаков в соседние ячейки и раскрашивая их в зависимости от анализируемых параметров нейронов.

В результате работы алгоритма получаются следующие карты:

карта входов нейронов — визуализирует внутреннюю структуру входных данных путем подстройки весов нейронов карты. Обычно используется несколько карт входов, каждая из которых отображает один из них и раскрашивается в зависимости от веса нейрона. На одной из карт определенным цветом обозначают область, в которую включаются приблизительно одинаковые входы для анализируемых примеров.

карта выходов нейронов — визуализирует модель взаимного расположения входных примеров. Очерченные области на карте представляют собой кластеры, состоящие из нейронов со схожими значениями выходов.

специальные карты — это карта кластеров, полученных в результате применения алгоритма самоорганизующейся карты Кохонена, а также другие карты, которые их характеризуют

32.

Самоорганизу́ющаяся ка́рта Ко́хонена— нейронная сеть с обучением без учителя, выполняющая задачу визуализации и кластеризации. Идея сети предложена финским учёным Т. Кохоненом. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования и др. Является одной из версий нейронных сетей Кохонена.

Самоорганизующиеся карты Кохонена используются для решения таких задач, как моделирование, прогнозирование, выявление наборов независимых признаков, сжатие информации, а также для поиска закономерностей в больших массивах данных. Наиболее часто описываемый алгоритм применяется для кластеризации данных

33.

Нейро́нная сеть Хо́пфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n-мерном кубе). Такая сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ

34.

Исследование известных архитектур гибридных систем и алгоритмов их обучения позволяет, по нашему мнению, считать их моделями, адекватно отражающими соотношение восприятия и логического умозаключения при когнитивной деятельности человека. При реальном решении задачи, человек комбинирует процессы мышления (компьютерный аналог – логический вывод), вспоминания (сознательное «внутреннее» возбуждение образа), восприятия окружающих предметов (распознавание) и, возможно, движения (управление телом). Обученная нечеткая нейронная сеть и хранит паттерны, и выполняет логические операции, так как содержит И-ИЛИ- нейроны, и переключается от распознавания на логический вывод, так как обычно включает в себя несколько отдельно обученных сетей с разными функциями.

Таким образом, несмотря на то, что нечеткие нейронные сети созданы как нейро-нечеткие контроллеры для управления процессами, они могут служить когнитивной моделью для изучения взаимодействия процессов восприятия и мышления при когнитивной деятельности.

Следующей особенностью гибридных систем является их принципиальная интерпретируемость, то есть как и всякая система логического вывода гибридная система объясняет свой результат с помощью обратного просмотра протокола применяемых вербализованных правил. Любая нечеткая нейронная сеть работает как система нечеткого логического вывода, но строится не с помощью инженерии знаний, а с помощью обучения по образцам. В результате матрица весов отражает силу связи входных и выходных переменных. Результатом обучения нечеткой нейронной сети служит не только матрица весов, но совокупность правил и оценок их достоверности. Следовательно, любая гибридная система является как минимум двухуровневой системой, включающей систему и метасистему, отражающую систему первого уровня. Исходя из сказанного, можно предложить нечеткие нейронные сети в качестве когнитивной модели соотношения сознательного (логического) и бессознательного (аналогового, вычислительного) процессов в решении интеллектуальной задачи.

Таким образом, в нечеткой нейронной сети возможно сочетать манипулирование образами, заданными количественными параметрами, с преобразованием символов (слов). Такая возможность заложена в самой базовой конструкции теории нечетких множеств. Каждое нечеткое множество связывает слово, имя с порядковой или метрической шкалой с помощью функции принадлежности, т.е. количественно моделирует новое качество – смысл.

Для всех классов нейронных сетей, в том числе гибридных систем, связь системы с окружением устанавливается с помощью обучающей выборки. Чем более полна и адекватна обучающая выборка, тем выше аппроксимирующая или классифицирующая способность нейронной сети после обучения. При использовании кроме классического метода обратного распространения сигнала, еще и генетического алгоритма обучения , гибридные системы получают еще один инструмент адаптации – функцию оптимальности генетического алгоритма, fitness-function.

35.

Следовательно, для обучения искусственной нейронной сети необходимо учитывать большое количество параметров и накопительный объем информации. Это приведет к усложнению построения модели.

Устранить данный недостаток можно за счет построения нейронечетких систем, которые относятся к классу гибридных систем, в основе которых лежат нечеткая логика, нейронные сети и генетический алгоритм [7].

Рассмотрим класс адаптивных сетей функционально эквивалентных системам нечетких рассуждений. Подобная архитектура носит название ANFIS (Adaptive Neuro-Fuzzy Inference System – адаптивная нейронечеткая система заключений) [5, 8].

Нейронечеткая система имеет пять слоев (рис. 1) и описывается следующим способом:

1. Выходы узлов первого слоя представляют собой значения функций принадлежности при конкретных значениях входных параметров:

,

где x – входной сигнал узла i, Ai – лингвистическая переменная, связанная с данной узловой функцией, (x) – функция принадлежности переменной Ai, определяющей степень, с которой данный x удовлетворяет Ai.

Параметры, значения которых будут подаваться на входы нейронов первого слоя х1, х2, х3, х4. Каждый параметр может иметь несколько определяющих значений отнесения по отдельным входам.

2. Выходами нейронов второго слоя являются степени истинности предпосылок каждого правила базы знаний системы.

,3

3. Каждый i-ый узел третьего слоя определяет отношение веса i-го правила к сумме весов всех правил:

4. Нейроны четвертого слоя выполняют операции вычисления значений для функций принадлежностей выходного параметра. Для модели типа Сугено:

где fi – функции принадлежности выходных переменных.

5. Единственный узел данного слоя является фиксированным узлом, в котором вычисляется полное выходное значение адаптивной сети как сумма всех входных сигналов

.