[Править] Классификация по характеру связей [править] Сети прямого распространения (Feedforward)

Все связи направлены строго от входных нейронов к выходным. Примерами таких сетей являются перцептрон Розенблатта, многослойный перцептрон, сети Ворда.

[Править] Рекуррентные нейронные сети‎

Основная статья: Рекуррентные нейронные сети‎

Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь). Рекуррентная сеть Хопфилда «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти^[15]. Частным случаем рекуррентных сетей является двунаправленные сети. В таких сетях между слоями существуют связи как в направлении от входного слоя к выходному, так и в обратном. Классическим примером является Нейронная сеть Коско.

[Править] Радиально-базисные функции

Искусственные нейронные сети, использующие в качестве активационных функций радиально-базисные (такие сети сокращённо называются RBF-сетями). Общий вид радиально-базисной функции:

, например,

где x — вектор входных сигналов нейрона, σ — ширина окна функции, φ(y) — убывающая функция (чаще всего, равная нулю вне некоторого отрезка).

Радиально-базисная сеть характеризуется тремя особенностями:

1. Единственный скрытый слой

2. Только нейроны скрытого слоя имеют нелинейную активационную функцию

3. Синаптические веса связей входного и скрытого слоев равны единице

Про процедуру обучения — см. литературу

[Править] Самоорганизующиеся карты

Основная статья: Самоорганизующаяся карта Кохонена

Такие сети представляют собой соревновательную нейронную сеть с обучением без учителя, выполняющую задачу визуализации и кластеризации. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования и др. Является одной из версий нейронных сетей Кохонена.^[16] Самоорганизующиеся карты Кохонена служат, в первую очередь, для визуализации и первоначального («разведывательного») анализа данных.^[17]

Сигнал в сеть Кохонена поступает сразу на все нейроны, веса соответствующих синапсов интерпретируются как координаты положения узла, и выходной сигнал формируется по принципу «победитель забирает всё» — то есть ненулевой выходной сигнал имеет нейрон, ближайший (в смысле весов синапсов) к подаваемому на вход объекту. В процессе обучения веса синапсов настраиваются таким образом, чтобы узлы решетки «располагались» в местах локальных сгущений данных, то есть описывали кластерную структуру облака данных, с другой стороны, связи между нейронами соответствуют отношениям соседства между соответствующими кластерами в пространстве признаков.

Удобно рассматривать такие карты как двумерные сетки узлов, размещенных в многомерном пространстве. Изначально самоорганизующаяся карта представляет собой сетку из узлов, соединенный между собой связями. Кохонен рассматривал два варианта соединения узлов — в прямоугольную и гексагональную сетку — отличие состоит в том, что в прямоугольной сетке каждый узел соединен с 4-мя соседними, а в гексагональной — с шестью ближайшими узлами. Для двух таких сеток процесс построения сети Кохонена отличается лишь в том месте, где перебираются ближайшие к данному узлу соседи.

Начальное вложение сетки в пространство данных выбирается произвольным образом. В авторском пакете SOM_PAK предлагаются варианты случайного начального расположения узлов в пространстве и вариант расположения узлов в плоскости. После этого узлы начинают перемещаться в пространстве согласно следующему алгоритму:

1. Случайным образом выбирается точка данных x.

2. Определяется ближайший к x узел карты (BMU — Best Matching Unit).

3. Этот узел перемещается на заданный шаг по направлению к x. Однако, он перемещается не один, а увлекает за собой определенное количество ближайших узлов из некоторой окрестности на карте. Из всех двигающихся узлов наиболее сильно смещается центральный — ближайший к точке данных — узел, а остальные испытывают тем меньшие смещения, чем дальше они от BMU. В настройке карты различают два этапа — этап грубой (ordering) и этап тонкой (fine-tuning) настройки. На первом этапе выбираются большие значения окрестностей и движение узлов носит коллективный характер — в результате карта «расправляется» и грубым образом отражает структуру данных; на этапе тонкой настройки радиус окрестности равен 1-2 и настраиваются уже индивидуальные положения узлов. Кроме этого, величина смещения равномерно затухает со временем, то есть она велика в начале каждого из этапов обучения и близка к нулю в конце.

4. Алгоритм повторяется определенное число эпох (понятно, что число шагов может сильно изменяться в зависимости от задачи).

17. Характеристика моделей нейронных сетей

18 Характеристика многослойных однонаправленных сетей

 Многослойные   однонаправленные   сети  Такие сети называются также сетями прямого распространения, или многослойными персептронами. В дальнейшем (там, где это не может привести к неодноз­ начности) будем называть такие сети многослойными. Сети этого типа состоят из нескольких слоев нейронов: входного слоя, выходного и нескольких «скрытых слоев». На рис. 13.3 изображена сеть, у которой К слоев. Нейроны каждого слоя не связаны между собой. Выходной сигнал с каждого ней рона поступает на входы всех нейронов следующего слоя. Нейроны входного слоя не осуществляют преобразования входных сигналов, их функция заключается в распределении этих сигналов между нейронами первого скрытого слоя. Функционирование многослойной сети осуществляется следующим образом: входной сигнал, подаваемый на сеть, поступает на нейроны входного слоя, прохо дит по очереди через все слои и снимается с выходов нейронов выходного слоя. По мере распространения сигнала по сети он претерпевает ряд преобразований, которые зависят от его начального значения, от преобразующих функций и вели­чин весов связей. Пусть сеть состоит из К слоев: одного входного, одного выходного и ( K >-2) скрытых слоев, — каждый слой состоит из n ( k ) нейронов. Набор выходных сиг­налов нейронов k - ro слоя ( k = 1: K ) обозначим . Далее обозначим w^k набор весов синаптических связей, соединяющих нейроны k - 1-го слоя с нейронами k -го слоя; — вес связи, соединяющий i - й нейрон k -1-го слоя c j -м нейроном k -го слоя Т огда прямое функционирование сети описывается следующи­ ми соотношениями: y ¹ = x

19. Характеристика полносвязных сетей Хопфилда

Поскольку сигнал с выхода каждого нейрона подается на входы всех остальных, >входной вектор начинает циркулировать, преобразуясь по сети до тех пор, пока сеть не придет в устойчивое состояние (то есть когда все нейроны на каждом пос ледующем цикле будут вырабатывать тот же сигнал, что и на предыдущем). Оче­ видно, возможны случаи бесконечной циркуляции входного вектора без достиже­ ния устойчивого состояния. Выберем функцию элементов в виде:

Состояние сети — множество текущих значений сигналов х от всех нейронов. Функционирование сети геометрически может быть представлено как движение вектора х , характеризующего состояние сети, на кубе [0,1]^п. Когда подается но­ вый входной вектор, сеть переходит из вершины в вершину, пока не стабилизиру­ ется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой. В общем случае все возможные состояния сети образуют некое подобие холмис той поверхности, а текущие состояния сети аналогичны положениям тяжелого шарика, пущенного на эту поверхность, — он движется вниз по склону в ближайший локальный минимум. Каждая точка поверхности соответствует некоторому сочетанию активностей нейронов в сети, а высота подъема поверхности в данной точке характеризует «энергию» этого состояния. Энергия данного сочетания активностей определяется как сумма весов связей между парами активных нейронов, взятая со знаком минус (при 0 = 0). Таким образом, если связь между двумя какимито нейронами имеет большой положительный вес, то сочетания, в которых эти нейроны активны, характеризуются низким уровнем энергии — именно к таким сочетаниям и будет стремиться вся сеть. И, наоборот, нейроны с отрицательной связью при активации добавляют к энергии сети большую величину, так что сеть стремится избегать подобных состояний. Динамику сети Хопфилда удобно описывать так называемой функцией энергии, которая в достаточно общем виде может быть определена как Функция энергии определяет устойчивость сети, другими словами — это функ­ ция Ляпунова сети Хопфилда , то есть функция, которая всегда убывает при изме­ нении состояния сети. В конце концов эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Изменение состояния какого-либо элемента сети всегда вызывает уменьшение энергии сети. Действительно, пусть изменил свое состояние элемент k ( k = 1 : n ) , то есть его состояние изменилось с +1 на 0 (или -1) или наоборот, тогда Видно, что в результате изменения k - ro элемента ∆ E_k ≤ 0, ∆ E_k = 0,, когда в сети не происходит никаких изменений. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекра тить изменение. По определению такая сеть является устойчивой. Сети Хопфил­ да называются также сетями, минимизирующими свою энергию. Сети Хопфилда имеют многочисленные применения. Некоторые из них связа­ ны со способностью этих сетей запоминать , а затем восстанавливать даже по неполной входной информации различные образы. Другие применения связаны с возможностью использования сетей Хопфилда для решения оптимизационных задач.

20. Характеристика двунаправленной ассоциативной памяти

Основной причиной неудач исследователей в области искусственного интеллек та, потративших свыше 20 лет на безуспешные попытки моделирования интел­лектуальной деятельности на базе обычных цифровых ЭВМ, является, по-види­ мому, тот факт, что в современных ЭВМ существует прямая зависимость времени поиска от количества хранимых образцов. Компьютер запоминает отдельные объекты в отдельных ячейках, как бы заучивает сведения наизусть, и при изуче­ нии наук примеры для него, в отличие от человека, отнюдь не полезнее правил. НейроЭВМ , построенная на базе нейросетей , обладает ассоциативной памятью и классифицирует поступившие образы со скоростью, которая не зависит от коли­ чества уже поступивших образцов, — она немедленно связывает новый образ с ближайшим имеющимся. Память человека является ассоциативной — один предмет напоминает нам о дру гом, а тот, в свою очередь о третьем и т. д. Наши мысли как бы перемещаются от предмета к предмету по цепочке умственных ассоциаций. Способность к ассоциа­ циям может быть использована для восстановления забытых образов («мы с вами где-то встречались»). Двунаправленная ассоциативная память является гетероассоциативной ; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда , двунаправлен ная ассоциативная память способна к обобщению, вырабатывая правильные ре­ акции, несмотря на возможные искажение входа. Очевидно, состояние нейронов можно рассматривать, как кратковременную память, так как она может быстро изменяться при появлении другого входного вектора. В то же время значения коэффициентов весовой матрицы образуют долговременную память (ассоциации) и могут изменяться на более длительном отрезке време­ ни, используя соответствующий метод обучения. Обучение производится с ис­ пользованием обучающего набора из пар векторов х и у. Предположим, что все запомненные образцы представляют собой двоичные векторы. Решение задачи с помощью двунаправленной ассоциативной памяти можно разбить на два этапа: режим обучения и непосредственно решение (распознавание). Рассмотрим оба эти этапа на примере. Каждый нейрон а. в первом слое А имеет синапсы, соединяющие его с нейронами Ь. во втором слое В. Пусть нейроны имеют следующий «смысл»: а, — валюта, я₂ — дол лары, а₃ — марки, а₄ — рубли, b_t — США, b ₂ — Россия, b ₃ —Канада, b ₄ — Германия.

21. Двунаправленная ассоциативная память. Режим обучения бинарными образами

Подадим на нейросеть три бинарных связи ( x _1, y ₁ ), ( x _2, y ₂ ), ( x _3, y ₃ ). Пусть x ₁ = (1,1,0,0) → y ₁ = (1,1,1,0); x ₂ = (1,0,1,0) → у₂ = (0,1,0,1); x ₃ = (1,0,0,1) → y ₃ = (0,1,0,0); Смысл обучающих связей очевиден: если возбуждены нейроны a ₁ и а ₂ (в нашем распоряжении есть доллары), то по соответствующим синапсам возбудятся ней роны b ₁ , b ₂ , b ₃ (мы можем ими воспользоваться в США, России и Канаде), и т. д. От бинарных связей перейдем к биполярным (это сделано исключительно для про стоты, чтобы не нужно было вводить ненулевой порог срабатывания нейронов): x ₁ = (1,1-1,-1) → y ₁ = ( 1 ,1 -1,-1 ); x ₂ = ( 1,-11,-1 → у₂ = ( 1,-11,-1 x ₃ = ( 1,-1-1,1 → y ₃ = ( 1,-1-1,1 ; Составим матрицу весов:

22. Двунаправленная ассоциативная память. Режим распознавания

Режим распознавания Оценим эффективность запоминания обучающих связей. Убедимся, что матрица W хранит связи ( x _1, y ₁ ), ( x _2, y ₂ ), ( x _3, y ₃ ). Подадим на вход x ₁ тогда x ₁ = (2, 2, 2, -2) — это означает, что в слое В возбудятся первые три нейрона (порог срабатывания принят равным нулю). Тогда в бинарной форме у = (1, 1, 1,0), что является требу­ емой ассоциацией. Это означает, что подача на вход x ₁ , приводит к y _1, то есть ЭВМ действительно «запомнила» связь ( x _1, y ₁ ). Аналогично проверяется запоминание остальных связей. Сеть является двунаправленной: y ₁ W ^T = (1, 5, -3, -3) → (1, 1, 0, 0) → x ₁ , и т. д. Определим энергию связей в памяти:

аналогично Е( х₂, у₂) - 4 и Е(х₃ у₃) = -2. Следует ожидать, что при ошибке в исходной информации связь ( x _1, y ₁ ) будет притягивать к себе больше образов, так как это точка устойчивого равновесия с минимальным энерге­тическим уровнем. Действительно, подадим на вход образ x ' = (1,1,0,1) — искажен­ ный на один бит x ₁ и х₃ тогда x ' W = (1,1,1, -3)→ (1,1,1,0) → y ₁ . Аналогично, если взять х " = (1, О, 1, 1) — вектор, расположенный «между» х ₂ и х_3, то получим (-3, 1, -3, 1) → (0, 1, 0, 1) → у₂ — связь ( x _2, y ₂ ) , притягивает к себе, так как ее энер­ гия меньше энергии ( x _3, y ₃ ). Работа с неопределенными данными. Рассмотрим случай, когда тип валюты неопределен x '- (1,0, 0,0), тогда x ' W = (-1, 3, -1, -1) → (0, 1, 0, 0) → у₃. Это означает, что она может быть использована только в той стране, где в ходу любая валюта.

Если валюта может быть любой, например, доллары и марки, то она может исполь зоваться везде: x '-(1, 1, 1,0) → x 'М = (1, 1,1,1) → у^’. Проведенное исследование показывает, что построенная нейросеть способна за помнить необходимую информацию на этапе обучения, а в рабочем режиме по зволяет решать задачи распознавания, то есть реализует функции ассоциативной памяти. Вся полученная при обучении информация сосредоточена в матрице W . За счет параллельной структуры сеть решает задачу «мгновенно» — за одно дей­ ствие — умножение входного вектора на матрицу памяти. Так как информация как бы интегрирована в матрицу W , сеть способна достаточно эффективно решать задачу и при частичных искажениях в исходных данных.

23. Характеристика самоорганизующихся сетей Кохонена

Характерной особенностью мозга является то, что его структура, по-видимому ,, отражает организацию внешних раздражителей, которые в него поступают. На­ пример, известно соответствие относительного положения рецепторов на поверх­ ности кожи и нейронов в мозге, которые воспринимают и обрабатывают сигналы от этих рецепторов, а участки кожи, которые плотно «населены» рецепторами (лицо, руки), ассоциированы с пропорционально большим числом нейронов. Это соответствие образует то, что называется соматотропической ( somatotropic ) кар той, которая отражает поверхность кожи в часть мозга — соматосенсорную кору которая и воспринимает ощущение касания.

Системы, построенные на базе, например, многослойных сетей с обратным распределением ошибок имеют очевидный недостаток, заключающийся в том, что мы (как учитель) должны заранее заготовить входы и запастись соответствующи­ ми правильными ответами для обучения сети. Принципы функционирования природной соматотропической карты легли в основу создания самоорганизую­ щихся сетей (карт, решеток) Кохонена , для которых не требуется предваритель­ ное обучение на примерах. Сеть Кохонена воспринимает только вход и способна вырабатывать свое собственное восприятие внешних стимулов. Самоорганизующиеся сети Кохонена — это карты или многомерные решетки, d каждым узлом которой ассоциирован входной весовой вектор, то есть набор из k входных весов нейрона трактуется как вектор в ^- мерном пространстве. (На рис. 13.5 представлена сеть при k = 2.) Входной весовой вектор имеет ту же размерность, что и вход в сеть. Обучение происходит в результате конкуренции, возникающей между узлами сети за право отклика на полученный входной сигнал. Элемент сети, который выигрывает в этой конкуренции (победитель), и его ближайшее окружение (свита) модифицируют веса своих входных связей. Перед обучением каждая компонента входного весового вектора инициализирую ется случайным образом. Обычно каждый вектор нормализуется в вектор с еди­ничной длиной в пространстве весов. Это делается делением соответствующего веса на корень из суммы квадратов компонент этого весового вектора.

24. Области применения нейроинформатики

25. Характеристика этапов проектирования экспертной системы

Разработка ЭС имеет существенные отличия от разработки обычного программного продукта. Опыт создания ЭС показал, что использование при их разработке методологии, принятой в традиционном программировании, либо чрезмерно затягивает процесс создания ЭС, либо вообще приводит к отрицательному результату.

Использовать ЭС следует только тогда, когда разработка ЭС возможна, оправдана и методы инженерии знаний соответствуют решаемой задаче. Чтобы разработка ЭС была возможной для данного приложения, необходимо одновременное выполнение по крайней мере следующих требований:

• существуют эксперты в данной области, которые решают задачу значительно лучше, чем начинающие специалисты;

• эксперты сходятся в оценке предлагаемого решения, иначе нельзя будет оценить качество разработанной ЭС;

• эксперты способны вербализовать (выразить на естественном языке) и объяснить используемые ими методы, в противном случае трудно рассчитывать на то, что знания экспертов будут "извлечены" и вложены в ЭС;

• решение задачи требует только рассуждений, а не действий;

• задача не должна быть слишком трудной (т.е. ее решение должно занимать у эксперта несколько часов или дней, а не недель);

• задача хотя и не должна быть выражена в формальном виде, но все же должна относиться к достаточно "понятной" и структурированной области, т.е. должны быть выделены основные понятия, отношения и известные (хотя бы эксперту) способы получения решения задачи;

• решение задачи не должно в значительной степени использовать "здравый смысл" (т.е. широкий спектр общих сведений о мире и о способе его функционирования, которые знает и умеет использовать любой нормальный человек), так как подобные знания пока не удается (в достаточном количестве) вложить в системы искусственного интеллекта.

Использование ЭС в данном приложении может быть возможно, но не оправдано. Применение ЭС может быть оправдано одним из следующих факторов:

• решение задачи принесет значительный эффект, например экономический;

• использование человека-эксперта невозможно либо из-за недостаточного количества экспертов, либо из-за необходимости выполнять экспертизу одновременно в различных местах;

• использование ЭС целесообразно в тех случаях, когда при передаче информации эксперту происходит недопустимая потеря времени или информации;

• использование ЭС целесообразно при необходимости решать задачу в окружении, враждебном для человека.

Приложение соответствует методам ЭС, если решаемая задача обладает совокупностью следующих характеристик:

1. задача может быть естественным образом решена посредством манипуляции с символами (т.е. с помощью символических рассуждений), а не манипуляций с числами, как принято в математических методах и в традиционном программировании;

2. задача должна иметь эвристическую, а не алгоритмическую природу, т.е. ее решение должно требовать применения эвристических правил. Задачи, которые могут быть гарантированно решены (с соблюдением заданных ограничений) с помощью некоторых формальных процедур, не подходят для применения ЭС;

3. задача должна быть достаточно сложна, чтобы оправдать затраты на разработку ЭС. Однако она не должна быть чрезмерно сложной (решение занимает у эксперта часы, а не недели), чтобы ЭС могла ее решать;

4. задача должна быть достаточно узкой, чтобы решаться методами ЭС, и практически значимой.

При разработке ЭС, как правило, используется концепция "быстрого прототипа". Суть этой концепции состоит в том, что разработчики не пытаются сразу построить конечный продукт. На начальном  этапе  они создают прототип (прототипы) ЭС. Прототипы должны удовлетворять двум противоречивым требованиям: с одной стороны, они должны решать типичные задачи конкретного приложения, а с другой - время и трудоемкость их разработки должны быть весьма незначительны, чтобы можно было максимально запараллелить процесс накопления и отладки знаний (осуществляемый экспертом) с процессом выбора (разработки) программных средств (осуществляемым инженером по знаниям и программистом). Для удовлетворения указанным требованиям, как правило, при создании прототипа используются разнообразные средства, ускоряющие процесс  проектирования .

Прототип должен продемонстрировать пригодность методов инженерии знаний для данного приложения. В случае успеха эксперт с помощью инженера по знаниям расширяет знания прототипа о проблемной области. При неудаче может потребоваться разработка нового прототипа или разработчики могут прийти к выводу о непригодности методов ЭС для данного приложения. По мере увеличения знаний прототип может достигнуть такого состояния, когда он успешно решает все задачи данного приложения. Преобразование прототипа ЭС в конечный продукт обычно приводит к перепрограммированию ЭС на языках низкого уровня, обеспечивающих как увеличение быстродействия ЭС, так и уменьшение требуемой памяти. Трудоемкость и время создания ЭС в значительной степени зависят от типа используемого инструментария.

В ходе работ по созданию ЭС сложилась определенная технология их разработки, включающая шесть следующих этапов (рис. 1.4):

идентификацию, концептуализацию, формализацию, выполнение, тестирование, опытную эксплуатацию. На этапе идентификации определяются задачи, которые подлежат решению, выявляются цели разработки, определяются эксперты и типы пользователей.

 

На этапе концептуализации проводится содержательный анализ проблемной области, выявляются используемые понятия и их взаимосвязи, определяются методы решения задач.

На этапе формализации выбираются ИС и определяются способы представления всех видов знаний, формализуются основные понятия, определяются способы интерпретации знаний, моделируется работа системы, оценивается адекватность целям системы зафиксированных понятий, методов решений, средств представления и манипулирования знаниями.

На этапе выполнения осуществляется наполнение экспертом базы знаний. В связи с тем, что основой ЭС являются знания, данный этап является наиболее важным и наиболее трудоемким этапом разработки ЭС. Процесс приобретения знаний разделяют на извлечение знаний из эксперта, организацию знаний, обеспечивающую эффективную работу системы, и представление знаний в виде, понятном ЭС. Процесс приобретения знаний осуществляется инженером по знаниям на основе анализа деятельности эксперта по решению реальных задач.

 

26. Классификация интеллектуальных информационных систем