4. Прогнозирование.

Целью процесса прогнозирования - является предсказание будущей реакции на основе ее поведения. Допусти, информация снята в дискретные моменты времени и представлена значениями x(n-T), x(n-2T)...,(x(n-mT) где Т - периодичность снятия сигнала, m - порядок прогнозирования. Задачи прогнозирования может быть решена с помощью нейросети, которая обучается на основе коррекции ошибок, без учителя, поскольку обучающие примеры получаются непосредственно с самого процесса.(рис.1) - блочная диаграмма нелинейного прогнозирования. При этом x от n. выступает в роли желаемого отклика. Обозначим x с крышкой - результат прогнозирования на один шаг вперед, сигнал ошибки определяется как разность x n и x n с крышкой. Он используется для настройки синоптических весов нейронной сети. В данном случае прогнозирование можно рассматривать как форму построения модели, а именно чем меньше ошибка прогнозирования, в статистическом смысле, тем лучше нейронная сеть будет работать в качестве модели имитируемого физического процесса, который обеспечивает генерацию данных. Задача прогнозирования особенно важна на практике в частности для финансовых приложений. Типичная последовательность действий при решения задачи прогнозирования финансовых показателей с помощью нейронных сетей может быть представлена блок схемой (рис.2). - блок схема финансового прогнозирования с помощью нейронных сетей. Действия на этапе предварительной обработки данных зависят от типа решаемой задачи, необходимо правильно выбрать ко-во и вид показателей, которые характеризуют процесс. Далее следует выбрать архитектуру нейронной сети, для нахождения параметров модели задать критерии ошибки и алгоритм обучения нейронной сети. Затем необходимо проверить различные свойства модели и дать интерпретацию выходной информации нейросети. На этапе анализа - доводки сети провести прогнозирования, с целью получения помощи для принятия решений в финансовой области.

5. Фильтрация.

Фильтр - это устройство либо алгоритм который используется для извлечения полезной информации из набора зашумленных данных. Причины возникновения шума различны. Например, при передаче информационного сигнала через зашумленные линии связи, могут возникать возмущения. На полезный сигнал возможно наложение другого сигнала, который поступает из окружающей среды. Кроме того, данные могут быть измерены с помехами. Примером фильтрации является задача распознавания голоса определенного студента в шумной аудитории. Человек способен избирательно отфильтровать нужные источники в зашумленной среде.

02.04.12 Лекция №9

Практическим приложением построением диаграммы направленности является, например, системы радаров. Здесь задача сводится к отслеживанию цели. В условиях помех и интерференции, т.е. наложении сигналов друг на друга. При этом задача усложняется тем, что полезный сигнал формируется в не известном направление и не существует априорной информации о наложении сигналов в результате интерференции.

Ассоциативная память

Это распределенная память которая обучается на основе ассоциаций подобно мозгу живых существ. Ассоциативная память или память адресуемая по содержимому, доступная по указанию заданного содержимого. Содержимое памяти может быть вызвано даже по частичному ходу или искаженному образу, вектору. Существует два типа ассоциативной памяти

1. Авто-ассоциативная

2.Гетеро-ассициативная

При решении задача авто-ассиоцивной памяти в Нс запоминаются передаваемые в ней образы, затем в эту сеть последовательно подаются не полное описание или зашумленное представление, хранимых в памяти исходных образов. Отличие гетеро-ассоциативной памяти от гетеро-фссоциативной, в том что в производном наборов входных образов, ставится в соответствие другой произвольный набор сигналов. Настройка НС которые предназначены для решения задач авто-ассоциативной памяти, происходит пктем обучения без учителя. В НС гетеро-ассоциативной памяти применяется обучение с учителем.

Допустим, что вектор хk используемый для решения задачи ассоциативной памяти. А yk – запомненый образ. Отношение ассоции образов который образует Нс имеет вид: xk -> yk ; k = 1,2,3…Q где Q …

Yk = xk это значит что пространство входных и выходных данных сети должны иметь одинаковую размерность, в гетеро-ассоциативной памяти Yk != Xk т.е. размерности пространств могут отличатся и совпадать. Работа ассоциативной памяти состоит из 2 фаз:

1.Запоминания, которая соответствует процессу обучения процессу сети в соответствии с выражением 1.

2. Восстановления, во время которой происходит извлечение запомненного образа в ответ на представление в Нс зашумленной или скаженной версией ключа.

В идеальном случае имеем что отклик НС вектор Y=Yi где он запомненный образ ассоциированный с ключом Xi . Однако если входной стимул вектор x = xi и вектор y = yi то при востонавленнии образа делает ошибку. Количество образов которые хранятся в ассоциативной памяти являются непосредственно емкостью НС. Информационная емкость измеряется в % от N использованных НС. При проектировании ассоциативной памяти желательно увеличить ее емкость и убедится что большая часть заполненных образов восстанавливается корректно.

Одна из задач обучения которую можно решать с использованием Нс является в цправленни нектором процессом либо критической частью системы. Пусть динамеческая система, задана совокупостью, X(t) Y(t) где X(t) входное управляющее воздействие, а y(t) выход системы с момет времени t.

В данной системе единая обратная связь обхаватые все единую связь, т.е. выход связан всо сходом. По сколько выходной сигнал объекта является некоторой переменной для управления объектом нужно знать ее значение, а значит нужно измерять выходной сигнал объекта. Система которая используется для измерения физических величин называется датчиком ил сенсером. В предположении что передаточные функции сенсора равна единичной на рисунке 1 в цепи обратной связи. Выход объекта управления вычитается из эталонного сигнала, принимаемого из внешнего источника. Получанный сигнал ошибки е(t) подается на Нейро-контролер для настройки синоптических весов. Основная задача котролерра это подержание такого входного вектора х(t) для которого выходной сигнал y(t) соответствует эталонному сигналу d(t). Другими словами задача контролера инвертирование отображения вход-выход объекта отображения. Из рис(1) следует что сигнал ошибки е(t) прежде чем достигнет объекта управления распространяется через контролер. СЛЕДОВАТЕЛЬНО в соответвитсвии на основе обучения для настройки весовых коффицеентов нужно знать матрицу Якоби. Частные производные d(k) b dx(t) зависят от рабочей точки объекта управления и зависят, их можно оценить с помощью прямого или не прямого обучения. Таким образом что-то там свидетельствует об универсальности как систем обработки информации.

НС прямого распространения сигмоидального типа.

Здесь речь пойдет об персепейтронах, понятие вот этого как первой модели возможности обучения вел в 1958 году Френк Розенблат.

Персептрон это однонаправленная Нс или сеть MLP. Состоит их нейроном сигмоидально типа, передача сигналов от исходного типа происходит от входа к выходу. Простейшей формой Нс которая предназначена для класиффикации линейно разделах сигналов когда образы разделяются некоторой гиперплоскостью является персептрон роземн-блата. Персепторон состоит из одного нейрона с синаптическими весами и порога.

При этом он формирует поверхность решений по форме гипер плоскости разделяющий эти два класса . Персейптрон построенный на одном нейроне(рис 2) выполняет задачу разделения только двух классов, каждый логичный уровень 1 или 0 будет обозначать отдельный класс. При увеличении размерности выходного размера персептрона включившего в него несколько нейронов можно решать задачи классификации на большее число классов. На двух выходах можно закодировать четыре класса. Примером нелинейной проблемы является проблема моделирования отношения хор(исключающее или) логическая функция хор при выводе дает 1 только тогда когда одно из выводимых значений дано 1 иначе 0. Покажем ограниченный возможности однослойных сетей на примере реализации двух-входовой. Не возможно провести единственную линию разделяющую пространство данных на два класса.

Лекция №10 05.04.12

Данное условие не может быть выполнено при применении для разделения пространства, единственной прямой. Независимо от параметров этой прямой. Следовательно, однослойный персептрон, не в состоянии реализовать однослойную функцию хор. Для первого нейрона будем иметь: V1=W11x1+W12x2+W10>0 и V1=W11x1+W12x2+W10<0 (формула 1) V2=W21x1+W22x2+W20>0 и V2=W21x1+W22x2+W20<0(формула 2) настройка синоптических весов 1 и 2 обеспечивает разделение пространства представленное на (рис.2) Добавим на выходе нейросети еще один нейрон, т.е выходной слой состоит из одного слоя, тем самым реализуется функция логического суммирования, которая выделяет общую часть подмножеств V1>0 V2>0 окончательная архитектура нейронной сети которая выполняет логическую функцию ХОР представлена на (рис.3)

Многослойный персептрон.

В настоящее время наиболее популярная нейросетевая архитектура - многослойная сеть прямого распространения. Она состоит из нескольких слоев: множество сенсорных элементов, которые образуют входной слой; одного или нескольких скрытых слоев и одного выходного слоя нейронов. С точки зрения топологии, нейронная сеть является полносвязной, это значит что каждый нейрон в любом слое сети, связан со всеми нейронами предыдущего слоя. Входной сигнал распространяется по нейронной сети в прямом направлении, при этом выходы нейронов предыдущего слоя, являются входами для нейронов последующего слоя. Такие сети, называются многослойными персептронами. Многослойные персептроны имеют три отличительных признака:

1. Каждый нейрон сети имеет нелинейную функцию активации, это нелинейная передаточная функции является гладкой, всюду дифференцируемой, в отличие от пороговой функции, которая используется в персептроне Розентбланта. Наиболее распространенная функция активации, это сигмоедальная определяемая логистической функции. Наличие нелинейности очень важно, т.к в противном случае отображение вход выход нейросети можно свести к обычному однослойному персептрону.

2. Нейронная сеть содержит один или несколько слоев скрытых нейронов, которые не являются частью входа или выхода сети. Скрытые нейроны позволяют нейросети обучаться сложным задачам, последовательно извлекая наиболее важные признаки из входного образа x.

3. Нейронная сеть имеет высокую степень связности. которая реализуется посредством. синоптических соединений.

Путем комбинации данных свойств наряду со способностью к обучению на собственном опыте, обеспечивается вычислительная мощность многослойного персептрона. Очень важным является определение наилучшей структуры нейросети. Нейронная сеть с двумя скрытыми слоями обладает лучшей способностью к обобщению., чем нейронная сеть с одним скрытым слоем. Однако в большинстве приложений достаточно нейросети с одним скрытым слоем. После определения числа скрытых слоев необходимо определить число нейронов в них, очень малое кол-во нейронов, приводит к недостаточной способности нейронной сети к обобщению. С другой стороны очень большое число скрытых нейронов, приводит к увеличению времени обучения и времени реакции (отклика) обученной сети. Имеются методы, которые позволяют определить число скрытых нейронов, одни из методов основаны на том, что скрытые нейроны добавляются во время обучения т.е идет наращивание нейронной сети, другие методы используют удаление скрытых нейронов в ходе процесса обучения т.е происходит редукция нейросети.

Алгоритм обратного распространения ошибки.

Память нейронной сети содержится в значениях ее синоптических весов, во время обучения нейросети эти значения непрерывно изменяются обучающим алгоритмом, пока не будет удовлетворен заранее установленный критерий. Другими словами, процесс обучения нейронной сети - это процесс модификации синоптических коэффициентов так, чтобы отображение которое реализует нейросеть в ходе данного процесса стремилось к желаемому отображению. В данном случае одним из самых распространенных алгоритмов обучения с учителем является алгоритм обратного распространения ошибки. Данный алгоритм основывается на коррекции ошибок. Синоптические веса настраиваются с целью максимального приближения выходного сигнала нейросети к желаемому в статистическом смысле. При прямом проходе входной вектор подается на сенсорные узлы сети затем распространяется по нейросети от слоя к слою, этот сигнал называется функциональным. В результате генерируются набор выходных сигналов - фактическая реакция сети на данный входной образ. Во время прямого прохода все синоптические веса нейросети являются фиксированными. Во время обратного прохода все синоптические веса настраиваются в соответствии с правилом коррекции ошибок т.е фактический выход сети вычитается из целевого отклика и формируется сигнал ошибки. Поэтому данный алгоритм называется алгоритмом обратного распространения ошибки.

Геометрическая интерпретация алгоритма обратного распространения ошибки.

В алгоритме обратного распространения ошибки, вычисляется вектор градиента поверхности невязок этот вектор указывает направление кратчайшего спуска по поверхности из данной точки. Поэтому если мы будем продвигаться вдоль этого направления, то ошибка будет уменьшаться. Последовательность таких шагов приведет к локальному минимуму либо к глобальному минимуму. Достижение глобального минимума называется сходимостью процесса обучения. Ключевыми проблемами здесь являются:

1. выбор начального приближения для синоптических весов.

2. выбор величины шага.

При большой величине шага сходимость будет более быстрой, но имеется опасность проскочить глобальный минимум, либо если поверхность ошибок имеет сложную структуру уйти в неправильном направлении. Классический. пример этого - ситуация когда алгоритм очень медленно продвигается по узкому оврагу с крутыми склонами прыгая с одной его стороны на другую. При маленьком шаге - наоборот, будет выбрано верное направление, но скорость сходимости алгоритма будет низка - потребуется очень много итераций. Кроме того при этом увеличивается вероятность попасть в локальный минимум а не в глобальный.

Лекция №11 12.04.12

В нейронах сетях с радиальными базисами функции, RBF в сетях. Нейроны реализуют функции которые радиально изменяются вокруг С и принимают не нулевые значения только в окрестности С. Скрытый нейрон отображает радиальные пространства, вокруг одиночной заданной точки, либо группы образующих кластер. Супер позицию сигналов поступающих от всех скрытых нейронов выполняет выходной нейрон. Тем самым получается отображения всего многомерного пространства. RBF сети, это сети без образных связей. Базовая архитектура предполагает наличие трех слоев, нейроны которых выполняют различные действия. Входной слой содержит сенсорные элементы которые связывают нейронные сети с внешней средой. Второй слой это единственный скрытый слой сети. Который называется шаблонным слоем и содержит нейроны радиального типа. Он выполняет нелинейное преобразование входного пространства в скрытое пространство. Выходной слой, как правило, состоит из одно или нескольких нейронов. Отображение скрытого слоя в выходной является линейным.

Это связанной с тем, что если не линейную проблему разместить в пространстве высокой размерности некоторым нелинейном образом, то вероятность того, что она будет линейно отделимой должна быть выше.

Радиально симметричный шаблонный слой.

Нейронные сети с радиальными базисными функциями содержат скрытой слой, радиально симметричных скрытых нейронов – шаблонный слой. Для того, чтобы шаблонный слой был радиально симметричным нужно выполнить:

1. Наличие центра, который представляется в виде вектора в сходном пространстве. Этот вектор обычно сохраняется в пространстве весов от входного слоя к слою шаблона.

2. Наличие способа измерения расстояния между входным вектором и центром. В качестве этого расстояния обычно принимает стандартное евклидово расстояние.

3. Наличие специальной функции прохождения от одного аргумента который определяет выходной сигнал нейрона путем отображения функции расстояния. Обычно это функция гаусса.

= exp(-s²)

С каждым шаблонным нейроном связывается некоторая функция

Каждая из этих функции берет комбинированный вход, и порождает значения активности, подаваемые на выход. Связи шаблонного нейрона определяют центр радиальной функции для данного скрытого нейрона выходной сигнал шаблонного нейрона, это функция только от расстояния между входным вектором x и сохраненным центром с_j .

Гиперплоскость разделяет это пространство на два класса в которых выполняет одно из условий

В отличие от сигмоидального нейрона радиальный нейрон представляет собой гипер сферу. Это гиперсфера производит шаровое разделение пространства вокруг центральной точки.

Радиальный нейрон можно считать естественным дополнением сигмоидального нейрона поскольку в случаи круговой симметрии данных уменьшается количество нейронов которые необходимы для разделения различных классов.

Математические основы RBF – сети.

Для решения сложных задач классификации образов основная идея заключается в нелинейном преобразовании входных данных в пространстве более высокой размерности. Математическую основу составляет теорема Ковера.

Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает линейной разделимости образа. Она базируется на двух основных положениях:

1. Определение нелинейной скрытой функции _i X (фор 3)

2. Высокая размерность скрытого пространства по сравнении с размерностью скрытого пространства. Определяется числом скрытых нейронов L.

Этапы обучения НС.

Процесс создания RBF – сети можно рассматривать как задачу аппроксимации кривой по точки пространстве высокой размерности. В соответствии с этим обучения эквивалентно обучению такой поверхности в пространстве, которая наиболее точно соответствует обучающим данным. Обучения RBF – сети происходит в 2 этапа:

1. Определяются центры и отклонения (сигма итое) для радиальных элементов

2. Оптимизируются параметры W_ij линейного выходного слоя.

Расположение центра должно соответствовать кластерам, которые реально присутствуют в исходных данных. Для этого часто используются 2 метода:

1. Выборка из выборки. В качестве центров радиальных элементов берутся несколько случайных точек из обучавшего множества. В силу случайного выбора они представляют распределения обучающих данных в статистическом смысле. Однако при малом числе радиальных элементов такое представление может быть не удовлетворительным.

2. Алгоритм К – средних. Данный алгоритм стремится выбрать оптимальное множества точек, которые являются центройдами кластеров в обучающих данных. При L большое радиальных элементов (нейронов) их центры располагаются так, что бы:

А) Каждая обучающая точка относилось к центру кластера, и лежали к нему ближе, чем к другому.

Б) Каждый центр кластера был центройдом множества обучающих точек относящихся к этому кластеру.

После того как найдены центры необходимо найти отклонения (сигма итое) величина отклонения называется так же сглаживающим фактором, она показывает, на сколько остр будет график функции гаусса.

Если графики функции гаусса будут очень широкими то Нс не будет воспринимать мелкие детали. Обычно отклонения (сигма итое) выбирается так , что колпак графика каждой функции гаусса. Методы:

1. Явный (мы сами задаем)

2. Изотропный(берется одинаковое отклонения для всех элементов. Определяется с учетом кол-ва элементов и объема открываемого пространства)

3. К – ближайших (отклонение каждого элемента индивидуально устанавливается элементом до К- ближайших соседей, при этом отклонения меньше где точки расположены густо, следовательно здесь будут хорошо учитываться детали, а где точек мало отклонения будут большими и будет производится интерполяция.)

После того как выбраны центры отклонения нужно оптимизировать параметры выходного слоя. Эти параметры модно оптимизировать параметры выходного слоя.

Лекция №12

16.04.2012г

Сравнение RBF-сетей и многослойных персептронов.

RBF-сети и многослойные персептроны это не линейные сети прямого распространения. Оба типа сетей обучаются с учителем и являются универсальными апроксиматорами.

1. RBF-сети в свой базовой форме имеют один скрытый слой, а много слойный персептрон может иметь большее количество скрытых слоев. Поскольку RBF-сети моделируют произвольную не линейную функцию с помощью одного промежуточного слоя, они избавляют от необходимости решать вопрос о числе слоев НС.

2. В многослойном персептроне для скрытых слоев и выходного слоя используется одна и та же модель нейрона, в RBF-сети скрытого (шаблонного) слоя могут в корне отличатся от нейронов выходного слоя, и служить разным целям.

3. Скрытый слой с RBF-сети является не линейным, а выходной линейным. В многослойном персептроне который используется в качестве классификатора, скрытые и выходной слой являются не линейными. При использовании многослойного персептрона для решения задач регрессии в качестве выходных нейронов обычно выбираются линейные нейроны. Параметры линейной комбинации в выходном слое RBF-сети можно оптимизировать с применением известных методов линейной оптимизации, эти методы не испытывают трудности с локальными минимумами. Которые мешают при обучении многослойных персептронах с применением алгоритма обратного распространения ошибки. По этому RBF-сеть обучается на порядок быстрее, чем с использованием алгоритма обратного распространения ошибки.

4. Аргумент каждого скрытого нейрона RBF-сети представляет собой евклидову норму (расстояние между входным вектором и центром радиальной функции) Аргумент функции активации каждого скрытого нейрона многослойного персептрона – это скалярное произведение входного вектора и вектора синоптических весов данного нейрона.

5. Многослойный персептрон, в котором не нулевое значения сигмоидальной функции распространяется от некоторой точки в пространстве до бесконечности обеспечивает глобальную апросимакцию нелинейного отображения. RBF-сеть с помощью экспонициально уменьшающихся функции гаусса создает локальную апросимакцию не линейного отображения. Это означает, что при одинаковой точности вычислений для апросимакции с помощью многослойного персептрона может потребоваться меньше число параметров чем для RBF-сети.

6. При наличии в RBF-сетях только одного скрытого слоя а так же тесной связи активности нейрона соответствующей области пространства обучающих данных точка начала обучения оказывается ближе к оптимальному решению чем это имеет место при обучении многослойных персептронах.

7. RBF-сети по сравнению с многослойными персептронами получаются очень громоздкими при большой размерности входного вектора.

Самоорганизующиеся нейронные сети.

Рассмотрим особый класс нейронных сетей, который называется картами самоорганизации. Эти сети основаны на конкурентом обучении.

Определение:

Самоорганизация – это активное изменение структуры НС или соответствующих ей синоптических весов в результате отклика на обучающие символы. Основой самоорганизации является закономерность, которая состоит в том что глобальное упорядочение глобальной сети возможно в результате саморгранизующих самооперации, которые не зависимо друг от друга проводится в различных локальных сегментах сети. В соответствии с поданными выходными сигналами происходит активация нейронов. Вследствие изменения синоптических весов нейроны адаптируются к поступающим обучающим выборкам. В процессе обучения наблюдается тенденция к росту синоптических весов что приводит к созданию положительной обратной связи: Более мощные возбуждающие стимулы, более высокие значения синоптических весов – большая активность нейронов. В этом случаи происходит естественное расслоение нейронов на различные группы, отдельные нейроны либо их группы сотрудничают между собой, они активируются , в ответ на возбуждение которые создается конкретными обучающими выборками подавляя своей активностью другие нейроны. При этом может быть сотрудничество между нейронами внутри группы так и конкуренция между ними, а так же между различными группами, существует 4 принципа самоорганизации:

1. Изменения синоптических весов ведет к само-усилению НС.

2. Ограниченность ресурсов ведет к конкуренции между синапсами и к успеху более развивающих синапсов за счет других, т.е. наиболее подходящих.

3. Модификация синоптических весов ведет к кооперации. Присутствие сильного синапса может усилить и другие синапсы при общей конкуренции в сети.

4. Порядок и структура образов активации содержит избыточную информацию, которая накапливается сетью в форме знаний являющихся не обходим условием самоорганизующиеся обучения.

Данные принципы СО образуют нейробиологический базис для самоорганизующиеся карт кохонина. В картах самоорганизации нейроны помешаются в одно или двухмерной, карты более высокой размерности используются редко. Однако процесс сегментации т.е. сжатие данных большой размерности некоторого набора кластера позволяет визуализировать данные, которые иным способом понять не возможно.

Отличительные особенности самоорганизующиеся НС на основе конкуренции.

Введенные Кохониным самоорганизующиеся карта признаков(СОК) является НС без обратных связей, которая принципиально отличается от всех типов сетей, сети Кохонена рассчитаны на не управляемое обучение. Они рассчитаны на самостоятельное обучение, во время обучения сообщать им правильные ответы не обязательно. Нейронные сети, обучаемые без учителя служат средством для кластеризации организации и визуального представления больших объемов данных. СОК имеет два слоя:

1. Входной

2. Выходной (составленный обычно из радиальных элементов), так же слой топологической карты.

Нейронная сеть обучаемая без учителя. Число нейронов в выходном слое сколько кластеров нейронная сеть может распознать. СОК в отличии от других нейронных сетей не содержит скрытого слоя. Каждый нейрон соединен со всеми компонентами n-мерного входного вектора. Как и в любой нейронной сети, каждой связи свои синоптический вес, в большинстве каждый выходной нейрон соединяется и со своими соседями, эти внутри слойные связи важны в процессе обучения. Поскольку корректировка весов происходит только в окрестности того нейрона, который наилучшим образом откликается на очередной вход. Когда образ предъявляется на образ нейронной сети, каждый нейрон стремится достигнуть наибольшего соответствия с входным образом. Выходной нейрон ближайший к входному образу признается победителем. Синоптические веса нейрона победителя затем корректируются, т.е. сдвигаются в направлении входного образа, это осуществляется с помощью множителя, который определяется темпом или нормой обучения. В этом и состоит сущность СОНС на основе конкуренции. СОК обладает способностью к обобщению – это означает, что подобные нейронные сети могут узнавать или характеризовать входные данные, с которыми они прежде не имеют данные. Новый вектор входных данных соотносится с тем элементом карты, на которой он отображается. Кроме того, для поиска или прогнозирования знание пропущенных данных при применении раннее обученной карты, они могут использовать даже входные векторами с пропущенными данными.

Лекция 13

Алгоритмы обучающихся самоорганизующихся карт.

Алгоритмы СОК основывается на соревновательном обучении без учителя. При этом обеспечивается сохраняющее топологию отображение из пространства большой размерности в элементы карты.

Обучается сеть Кохонена методом последовательных приближений, сначала нормализуются входные векторы и производится активация нейросети. Нормализация векторов может производиться следующими способами:

Переопределение компонентов вектора по формуле

; (1)

где знак := это знак присваивания.

Увеличением размерности пространства на одну координату с выбором значения (n+1)-го компонента вектора, удовлетворяющего условие нормировки

; (2)

Для выполнения условия нормировки (2) предварительно нужно провести масштабирование компонентов вектора .

Нормализация входных векторов необходима при не большой размерности пространства, например n=2, n=3. ………………

При больших объёмах нейронной сети n>200, нормализация перестаёт оказывать влияние на процесс самоорганизации.

Алгоритм ответственный за построение СОК начинается с инициализации синоптических весов нейросети. Обычно синоптическим весам присваиваются небольшие значения, сформированные генератором случайных чисел. Когда процесс начинается с рандоминизированных (случайных) значение синоптических весов, выходные нейроны медленно выравниваются, поскольку при предъявлении входного образа на него реагирует не только отдельный нейрон, но также и его окрестность.

В этой ситуации важен выбор метрики, для измерения расстояния. В качестве меры расстояния используются следующие метрики:

1) (3)

(только первая сумма под корнем, просто не получается сделать)

(4)

2)Мера исп-я скалярное произведение.

(5)

Мера относительная формулы L1 (расстояние городских кварталов, или Манхэтонское расстояние)

(6)

(всё под корнем)

Мера относительности

; (7)

В процессе обучения размер окрестности вокруг нейрона победителя постепенно уменьшается. Сначала одновременно корректируются веса многих нейронов в окрестности нейрона победителя.

В процессе обучения на входные сигналы реагирует всё меньшее число нейронов. В конце обучения уточняются только веса связей нейрона победителя, они сдвигаются в направлении входного вектора с помощью множителя определяемого темпом обучения (Норма обучения ). В процессе обучения уменьшается темп обучения.

В некоторых приложениях темп обучения снижается по мере уменьшения расстояния от нейрона победителя. Таким образом, в результате итеративной процедуры обучения, сеть организуется так, что элементы соответствующие центрам расположенным близко друг от друга в пространстве входов, будут располагаться близко друг от друга и на топологической карте. Алгоритм обучения нейросети с самоорганизацией, в которых на каждой итерации может обучаться только один нейрон, называется WTA (победитель забирает всё).

Архитектура нейронной сети в которой реализуется этот алгоритм имеет вид:

Широко употребляется WTM (победитель получает большее).

В последних алгоритмах, кроме нейрона победителя уточнаяют значение своих весов и нейроны из его ближайшего окружения. В этом случае чем дальше какой либо нейрон находится от нейрона победителя, тем меньше изменяются его синоптические веса.

Процесс корректировки весов для всех нерйроновj, который расположены в окресности нейрона победителя i, определяется обобщённой зависимостью:

(8)

где (этто) – коэффициент обучения нейронаj, – функция соседства. Имеется много вариантов алгоритмаWTM которые отличаются, прежде всего, функцией соседства

Алгоритм Кохонена

Алгоритм Кохонена, является одним из вариантов алгоритма WTM и наиболее старым алгоритмом обучения нейронных сетей самоорганизации на основе конкуренции.

В классическом алгоритме Кохонена нейронная сеть инициализируется путём предписывания нейроном определённой позиции в пространстве, при этом они связываются с соседями на постоянной основе.

Функция соседства задаётся в виде:

( 9)

В формуле 9 играет роль уровня соседства, в процессе обучения оно уменьшается до 0, такое соседство называется прямоугольным. В качестве меры расстояния d(j,i) может быть евклидово расстояние, вычисляемое по формуле 3. Здесь каждый нейрон, который находится в окрестности нейрона победителя, адаптируется в равной степени.

Прямоугольная область является не выпуклой, когда алгоритм СОК использует не выпуклую функцию соседства, это приводит к возникновению метосстабильных состояний, эти состояния представляют собой топологические дефекты в конфигурации карты признаков, поэтому другой тип соседства, который применяется в картах Кохонена - это соседство Гауссова типа. В этом случае функция соседства имеет вид:

(10)

Где (сигма) определяет уровень соседства, то есть уровень, до которого нейроны из топологической окрестности нейрона победителя участвуют в процессе обучения.

Параметр (сигма) - называется эффективной шириной топологической окрестности.

В отличии от прямоугольно соседства уровень адаптации при соседстве Гауссова типа зависит от значения функции Гаусса. Функция Гаусса является выпуклой, для случая одномерной решетки:

В случае одномерной решётки расстояние между нейронами d(j,i) является целым числом расстояния |j-i|, для двух мерной решётки

; (11)

где - определяет позицию возбуждаемого нейронаj. - победившего нейронаi. Оба этих измерения проводятся в дискретном выходном пространстве. Выпуклая функция, такая как функция Гаусса, приводит к более быстрому топологическому упорядочиванию, чем не выпуклая, так как она не содержит метастабильных состояний, поэтому Гауссово соседство, даёт лучшие результаты обучения.

Одним из уникальных свойств алгоритма СОК яв-ся уменьшение со временем размера топологической окрестности за счёт постепенного убывания величины (сигма) в формуле (10). Популярный вариант зависимостиот дискретного времениk, это экспоненциальное убывание, которое описывается формулой

(12)

Где k=1,2,3,4,…

–начальное значение величины в алгоритме СОК

(Тау) -некоторая временная константа

Тогда функция соседства

(13)

Следовательно, при увеличении количества итерраци k, функция соседства убывает вместе с экспоненциальным убыванием эффективной ширины топологической окрестности .

Этапы алгоритма СОК.

Шаг 1: Инициализация

Для исходных векторов синоптических весов выбирается случайные значения.

Единственное требование здесь, это различие векторов для разных значений j = 1,2,3,….M, где М- это общее количество нейронов решётки.

При этом амплитуду значений рекомендуется сохранять малой.

Шаг 2: Подвыборка

Выбирается вектор из входного пространства с определённой вероятностью. Он представляет собой возбуждение, которое применяется к решётке нейронов. Размерность вектора

Шаг 3: Поиск максимального подобия.

На шаге k находится наиболее подходящий (победивший) нейрон i, применяя критерий минимума, Евклидово расстояние

; (14)

j = 1,2,3…M

Шаг 4: Коррекция

В соответствии с формулой (8), корректируются векторы синоптических весов всех нейронов.

(15)

где (этто) – параметр скорости обучения

- функция соседства

Оба этих параметра динамически изменяются в течении обучения с целью получения результата.

Шаг 5: Продолжение.

Возвращаемся к шагу 2, вычисления продолжаются до тех пор, пока на карте признаков не перестанут происходить заметные изменения.

Лекция 14 26.04.12

Алгоритм нейронного газа

Другим вариантом алгоритма WTM является алгоритм нейронного газа.

Его динамика подобна движению молекул газа.

Опишем этот алгоритм:

На каждой итерации «k» все нейроны сортируются в зависимости от их расстояния до вектора , гдевходной вектор.

Через обозначит удалённостьi-го нейрона который занимает m- ю позицию в последовательности. Эта последовательность возглавляется нейроном победителем «i» при этом нейрон победитель имеет удалённость.

В результате сортировки нейроны размечаются в последовательности, которая соответствует возрастанию удалённости.

(1)

Значение функции соседства для j-го нейрона определяется формулой:

(2)

Где, m(j) – очередность, полученная в результате сортировки.

m(j) = 1,2,….,n-1

(сигма) – параметр, убывающий со временем, он аналогичен уровню соседства в алгоритме Коххонена. (см. пред. Лекцию).

Когда = 0, адаптации подвергается только нейрон победитель. В это случае алгоритм нейронного газа превращается в алгоритмWTA(победитель получает всё)

При , корректировки подлежат веса многих нейронов, при этом уровень уточнения зависит от функции

Чтобы достигнуть хороших результатов самоорганизации процесс обучения должен начинаться с большого значения параметра .

Уменьшения с течением времени может быть либо линейным, либо в соответствии с выражением:

(3)

где, - значениена «k» итерации.

( min и max) – принятые минимальная и максимальное значение сигма соответственно. Максимально заданное кол-во итераций определяется коэффициентом

Коэффициент обучения j-го нейрона («этта»j(k)), тоже может изменяться либо, линейным способом или в соответствии с формулой:

(4)

где, «этта»j(0) – начальное значение коэффициента обучения.

«этта» (min) – априорно (заранее) заданное минимально значение соответствующее k=k(max).

При реализации алгоритма нейронного газа, можно применить определённое упрощение для сокращения объёма вычисления.

Это упрощение состоит в том, что при сортировке учитываются только нейроны, имеющие наиболее значимую величину функции

При этом, если в формуле (2), m(j)>>1(много больше 1), то значение функции = 0.

При сортировки нейронов а в последующем и при их адаптации можно ограничиться только первыми «K» нейронами, если положить(задать) K=3.

Алгоритм нейронного газа считается одним из наиболее эффективных средств самоорганизации нейронов в сети Кохонена.

Подбирая параметры управления процессом можно добиться хорошей организации нейронной сети, при этом скорость функционирования сети будет превышать достижимую скорость функционирования при применении классического алгоритма Кохонена.

Рекуррентные нейронные сети

Рекуррентными называются нейронные сети имеющие одну или несколько обратных связей между различными слоями нейронов.

Общая черта таких сетей – передача сигналов с выходного либо скрытого слоя, во входной слой.

Обратные связи могут быть 2 типов:

1. Локальные – то есть на уровне одного нейрона сети.

2. Глобальные – то есть охватывающие всю нейронную сеть.

При этом глобальная связь оказывает на сеть очень большое влияние. По этому будем рассматривать рекуррентные сети использующие глобальную обратную связь.

Применение обратной связи может привести к неустойчивости системы.

Область значений, в которой нейронные сети рассматриваются как нелинейные динамические системы и основной упор делается на проблему устойчивости, называется нейродинамикой

Изучение нейродинамики началось в 1938.

Устойчивость нелинейных динамических систем, это достаточно сложный вопрос. Задача устойчивости обычно понимается в терминах критерия устойчивости типа «ограниченный вход – ограниченный выход».

Согласно данному критерию под устойчивость понимается то, что выход системы не должен неограниченно возрастать в результате подачи ограниченного входного сигнала, либо нежелательных сбоев.

Если речь идёт об устойчивости в контексте нелинейных динамических систем, то подразумевается устойчивость по Ляпунову.

Прямой метод Ляпунова широко используется для анализа устойчивости линейных и не линейных систем, которые зависят и не зависят от времени.

Его можно применять при анализе устойчивости нейронных сетей.

С точки зрения нейродинамики, построение моделей рекуррентных нейронных сетей, можно осуществлять 2 путями:

- путём детерминированной нейродинамики. Здесь модель нейронной сети имеет детерминированное поведение. В математических терминах эта модель описывается системой не линейных дифференциальных уравнение, которые определяют эволюцию системы, как функцию времени.

- путём статистической нейродинамики. Здесь модель нейронной сети подвержена влиянию помех. Математическая модель описывается стохастическими (случайными) нелинейными дифференциальными уравнениями, и решение выражается в вероятностных терминах. Комбинация нелинейности и стохастичности приводит к усложнению объекта исследования.

Поэтому будем изучать рекуррентные или динамические нейронные сети.

Они построены из динамических нейронов поведение которых описывается дифференциальными или разностными уравнениями, как правило, первого порядка.

Главной особенность выделяющей эти сети среди других сетей, являются динамические зависимости на каждом этапе функционирования нейронной сети.

Изменение состояния одного нейрона из-за обратной связи «одни ко многим» отражается на функционировании всей сети. В нейронной сети возникает некоторые переходный процесс, он завершается формированием нового устойчивого состояния отличающегося в общем случае от предыдущего.

Модели рекуррентных нейронных сетей, можно использовать в различных приложениях:

1. Ассоциативная память

2. Идентификация систем

3. Нелинейная обработка сигналов

4. Задача управления

Аттракторы

Обозначим функцию активации нейрона гдеV- взвешенная сумма его возбуждений.

Тогда состояние нейрона определяется выходным сигналом:

Учитывая, что при обратной связи «один ко многим» возбуждающими импульсами для нейрона являются выходные сигналы других нейронов, изменение его состояния описывается системой нелинейных дифференциальных уравнений.

(6)

для i =1,2,….,n.

здесь пороговое значение заданное внешним источником

(тау) - это числовая константа. Она аналогична постоянной времени в уравнениях, описывающих динамические состояния.

В результате решения системы 6, что состояние нейрона будет равно:

; (7)

при определённом уровне возбуждения нейрона, который описывается значениями их выходных сигналов , рекуррентной нерйонной сети, можно сопоставить энергетическую функцию Лякунова:

(8)

эта функция связана с каждым возбуждённым состояние нейронной сети и убывает с течение времени.

Изменение состояния какого-либо нейрона приводит к изменению энергетического состояния всей нейросети в направлении минимума её энергии, в плоть до его достижения. Каждая из состояний системы сформированных на этапах обучения нейросети – это локальный минимум.

Обычно существует множество локальных минимумов.

В пространстве состояний локальные энергетические минимумы, представляются точками стабильности, которые называются Аттракторами.

Аттракторы – это множество, которое имеет размерность, меньшую размерности пространства состояния.

Лекция 15

здесь подмножеством понимается некоторая к-мерная поверхность, которая содержится в n-мерном пространстве состояний и которая описывается системой уравнений:

; (1) j=1,2,..k; k<n.

…это элементы n-мерного вектора состояния системы

–некоторая функция этих элементов

Аттракторы является ограниченными подмножествами.

К ним сходятся области начальных состояний пространства состояний не нулевого объёма с течением времени t.

Множество аттракторов может состоять из одной точки в пространстве состояний, в данном случае имеем точечный аттрактор. Множество аттракторов также может быть в форме периодической орбиты, в этом случае имеем устойчивый предельный цикл.

Под устойчивостью, здесь понимается асимптотическая сходимость к этому циклу близь лежащих траекторий.

Каждый из аттракторов окружён собственной чётко очерченной областью, которая называется бассейном (Областью аттракции)

Граница отделяющая один бассейн аттракции от другого наз-ся сепаротрисей.

На рисунке 1 граница бассейна аттракции состоит из траекторий T1 и T2 и Седловой точки Q (в трёх мерном пространстве похожа на седло).

Каждое начальное состояние системы находится в бассейне какого-либо аттрактора.

Аттракторы – это единственные равновесные состояния динамической системы, которые можно наблюдать экспериментально. Однако в контексте аттракторов равновесное состояния не обязательно яв-ся статическим или устойчивым , например придельный цикл.

Он представляет собой устойчивое состояние аттрактора, которое непрерывно изменяется во времени.

Нелинейные динамические системы, с порядком выше второго (порядок уравнения определяется порядком производной), характеризуются ещё одним классом нерегулярных аттракторов, которые наз-ся странными аттракторами.

Странные аттракторы имеют очень сложное поведение.

Они особенно интересны тем, что рассматриваемая система яв-ся детерминированной, то есть руководствуется фиксированными правилами.

В тоже время при наличии только нескольких степеней свободы поведение системы на столько сложно, что внешне, кажется, что это поведение носит чисто случайный характер.

В нелинейной динамической системе, когда орбиты аттракторов в окрестности начальных состояний стремятся отдалиться с течением времени, говорится о наличии странных аттракторов, а сама системы называется хаотической.

Другими словами, именно фундаментальные свойства чувствительности к начальным состояниям, делает эти аттракторы странными.

Чувствительсть означает следующее:

Если 2 идентичные системы начинают своё движение из начальных состояний

x(->) и x(->) + эпсилон (вектор)

где эпсилон – это очень малая велечина.

то их динамические состояния будут расходиться друг от друга. При этом расстояние между ними будет увеличиваться в среднем экспоненциально.

определение аттракторов для вычислительных объектов, например ассоциативной памяти, это одна из основных парадигм нейронных сетей. В данном случае необходимо управлять местом размещения аттракторов в пространстве состояния системы.

Алгоритм обучения будет в форме нелинейного динамического уравнения, которое управляет расположением аттракторов для кодирования информации в желаемом виде, либо обучение рассматриваемых временных структур.

Ассоциативная память

Ассоциативная память выстуапает в роле системы определяющию взаимную зависимость векторов. Когда на взаимосвязь исследуется компоненты одного и того же вектора, говорят об авто-ассоциативной памяти. Если взаимосвязны 2 различных вектора, то говорят о пямяти гетероассоциативного типа.

Примером автоассоциативной пямяти, не содержащей скрытых нейронов, является нейронная сеть Хопфилда.

Типичный представитель памяти гетероассоциативного типа, нейронная сеть Хемминг.

Основная функция ассоциативной памяти – это восстановление образа (объекта) в ответ на представление не полной или зашумлённой версии этого же объекта.

Таким образом, при предаставлении новой выборки, система должна сгенерировать ответ о том, какая из запомненных ранее выборок более близка к вновь поступившему образу.

В качестве меры близости отдельных множеств, часто применяется мера Хемминга. Пир двоичных значениях (0 и 1) элементов обоих векторов, расстояние Хемминга между двумя векторами (рис 2) имеет вид:

(фор2)

В случае биполярных значений -1 и +1 обоих векторов расстояние Хемминга определяется формулой:

(фор3)

Мера Хемминга равна 0, тогда и только тогда когда y=d, в противном случае она определятся кол-вом битов на которые различаются оба вектора.

Нейронная сеть Хопфилда.

Среди нейронных сетей существуют такие при классификации которых, по способу обучения, не подходят ни обучение с учителем, ни обучение без учителя.

В таких моделях нейронных сетей фиксированные точки соответствуют сохраняемым образам.

Синоптические веса сети, которые обеспечивают нахождение таких фиксированных точек рассчитываются только однажды, перед началм функционирования нейросети на основе информации об обрабатываемых данных. При этом всё обучение нейросети сводится именно к расчёту синоптических коэффициентов.

К нейро сетям с подобной логикой относятся сети Хопфилда и Хемминга.

Они представляют собой разновидности нейрнных сетей, с обратными связями, которые используются для организации ассоциативной памяти.

Архитектура нейронной сети Хопфилда имеет вид:

рис2

характерная особенность архитектуры сети Хопфилда зак-ся в том, что она состоит из единственного слоя нейронов, кол-во которых яв-ся одновременно числом входов и выходов нейросети. Каждый нейрон связан синапсами со всеми остальными нейронами, при этом он имеет единственный входной синапс, через который осуществляется ввод сигнала. Выходные сигналы образуются на аксонах и как правило выход каждого нейрона замыкается через элемент единичной задержки на все остальные нейроны. Это означает, что нейрон этой сети не имеет обратной связи с самим собой. То есть синоптический вес Wii=0 и матрица синоптических коэффициентов яв-ся симметрической W=W^t.

Задача которую решает данная сеть в качестве ассоциативной или контентно адрисуемой памяти, формируется следующим образом:

имеется некоторый набор двоичных сигналов, которые считаются образцовыми, этими сигналами могут быть например звуковые оцифровки,, изображения. При подачи на вход нейронной сети ,произвольного не идеального сигнала, сеть должна выделить, то есть «Вспомнить» по частичной но существенной информации соответствующий образ.

Если такого образа нет, то нейросеть должна дать заключение, что входные данные не соответствуют не одному из образов.

Процесс обучения нейросети формирует зоны притяжения, (области аттракции) некоторых точек равновесия, соответствующих обучающим данным. Предположим, что каждый нейрон имеет сигнатурную функцию активации (лекция 1 или 2), в этом случае выходной сигнал нейрона i определяется в виде:

фор 4

где sgn – функция определения знака числа или сигнум функции

Предположим, что постоянная составляющая W0i которая определяет порог срабатывания отдельных нейронов, яв-ся компонентом вектора x(->).

Тогда без учёта единичных задержек, которые представляют собой способ синхронизации процесса передачи сигналов основные зависимости определяющие определяющие сеть Хопфилда будут иметь вид:

(фор5)

с начальным условием yi(0) =xj.

Сеть Хопфилда имеет 2 фазы функционирования:

1. ваза обучения

2. Ваза классификации

В режиме обучения на основе известных обучающих выборок x(->) подбираются весовые коэффициенты Wij

В режиме классификации, при зафиксированых значениях весов и вводе конкретного начального состояния нейронов

y(->)(0)=x(->), возникает переходный процесс, который протекает в соответствии с выражением (5). Он завершается в одном из локальных минимумов, где (фор6).

Важным параметром ассоциативной памяти считается её емкость – максимальное кол-во запомненных образов. Она классифицируются с допустимой погрешностью эпсилон max.(рис 5)

Сеть Хопфилда в некоторых случаях не может провести распознавание и выдает на выходе не существующий образ, это связано с проблемой ограниченности возможностей сети.

Для сети Хопфилда число запоминаемых образов, не должно превышать велечины 0,15n.

Лекция 16 03.05.12

Нейронная сеть Хемминга.

Нейронная сеть Хемминга была предложена Липпманном. Она является рекуррентной структурой, которую можно считать развитием нейронной сети Хопфилда.

Эта сеть позиционируется как специализированное запоминающее устройство.

Из рисунка (1) видно, что сеть Хемминга состоит из двух слоёв, 1 и 2 слои имеют по m – нейронов, где m – число образов.

Нейроны 1-го слоя имеют по n - синапсов соединённых с входами сети, которые образуют фиктивный нулевой слой. Первый слой сети Хемминга имеет однонаправленное распространение сигналов от входа к выходу. Кроме того, этот слой имеет фиксированное значение весов.

Нейроны 2- го слоя связаны между собой ингибиторными, то есть отрицательными обратными синоптическими связями. В отличии от структуры Хопфилда, единственный синапс с положительной обратной связью, для каждого нейрона, соединён с его же аксоном. 2 слой, это слой – MAXNET.

Сеть MAXNET.

Нейронная сеть MAXNET (находит нейрон победитель) - это конкурентная нейронная сеть. Она может применяться для нахождения нейрона сети, ввод которого оказывается максимальным. Каждый нейрон соединяется с самим собой, а так же со всеми другими нейронами, двунаправленными взвешенными связями, по принципу каждый с каждым.

Значения всех весовых коэффициентов устанавливаются между собой, кроме веса автосвязи, который равен 1.

(1)

где

n – Количество нейронов сети

Значение активности нейрона устанавливается равным вводу, если ввод оказывается больше 0. В противном случае значение активности равно 0.

Нейрон получает взвешенный сигнал, от всех других нейронов и от самого себя. Он не изменяет свою активность до завершения итерации. Обновляются все нейроны, при этом обновление происходит до тех пор, пока останется не более одного нейрона с ненулевой активностью, таким образом, нейроны функционируют в режиме WTA. В этом режиме, в каждой фиксированной ситуации, активизируется только один нейрон, а остальные нейроны прибывают в состоянии покоя.

Функционирование нейронной сети Хемминга.

Основная идея функционирования сети Хемминга, состоит в минимизации расстояния Хемминга (см. Лекция 15), между тестовым вектором, подаваемым на вход нейросети и векторами обучающих выборок, которые закодированы в структуре сети.

Сеть Хемминга, по сравнению с сетью Хопфилда, характеризуется меньшими затратами на память и меньшим объёмом вычислений.

Процесс функционирования сети Хемминга состоит из 3 фаз:

Фаза 1: На вход сети Хемминга подаётся вектор , после предъявления этого вектора на выходах нейронов первого слоя, генерируются сигналы, которые задают начальные состояния нейронов 2 слоя.

Фаза 2: Инициировавшие 2 слой сигналы, удаляются. При этом, из сформированного ими начального состояния, запускается итерационный процесс внутри слоя MAXNET. Итерационный процесс завершается, когда все нейроны перейдут в нулевое состояние, кроме одного нейрона победителя, имеющего выходной сигнал = 1.

Нейрон победитель, с не нулевым сигналом, становится представителем класса данных, к которому принадлежит входной вектор

Фаза 3: Тот же нейрон победитель формирует на выходе нейронной сети, отклик в виде вектора , который соответствует возбуждающему вектору. Сеть должна выбрать образ с минимальным расстоянием Хемминга, до неизвестного входного сигнала, в результате чего будет активирован всего один выход сети соответствующий этому образу.

Следует отметить, что достоинство нейронной сети Хемминга, считается небольшое число связей между нейронами.

Пример:

100-входовая (n=100, x от 1 до 100) сеть Хопфилда, которая кодирует 10 различных векторных классов, должна содержать 10000 (W) взвешенных связей с настраиваемыми значениями весов. При построении аналогичной сети Хемминга, кол-во взвешенных связей = 1100, то есть 1000 весов находится в 1 слое, и 100 в слое MAXNET(во 2 слое).

Нейронные сети Хопфилда и Хемминга позволяют эффективно решить задачу воссоздания образов по неполной и искаженной информации. Однако они имеют невысокую ёмкость, то есть число запоминаемых образов. Это объясняется тем, что данные сети не просто запоминают образы, а позволяют проводить их обобщение.

Кроме программной реализации сетей Хопфилда и Хемминга, существуют аппаратурные реализации, на основе стандартных элементов микроэлектронной технологии.

Лёгкость построения программных и аппаратных моделей, способствует практическому применению этих нейронных сетей.

Нейронные сети встречного распространения.

( CPN-сети).

Объединяя разнотипные нейронные структуры в единую архитектуру, можно получить нейронную сеть, обладающую свойствами, которых нет у них по отдельности. Нейронная сеть встречного распространения соединяет в себе свойства самоорганизующейся сети Кохонена, и концепцию Outstar-сети Гроссберга.

В рамках этой архитектуры, элементы слоя сет Кохонена не имеют прямого выхода во внешнюю среду. Они служат входами для выходного слоя, в котором связям адаптивно придаются веса Гроссберга.

CPN-сеть, осуществляет постепенное построение искомого отображения, входного вектора в выходной вектор, на основе примеров действия такого отображения. Данная нейронная сеть хорошо решает задачи, в которых нужна способность адаптивного формирования математического отображения, по его точным значениям в отдельных точках.

Характеристики CPN – сетей существенно превосходят возможности сетей с одним скрытым слоем нейронов.

Например:

Время обучения CPN – сетей задачам кластеризации и распознавания образов, более чем в 100 раз меньше времени обучения аналогичным задачам сетей с обратным распространением ошибки.

Важной характеристикой CPN – сетей является её хорошая способность к обобщению. Это даёт возможность получать правильный выход, даже при зашумлённом или неполном входном векторе.

По этому данная сеть может эффективно использоваться для распознавания образов, восстановления образов (ассоциативная память) и для усиления сигнала.

CPN – сети успешно применяются также в экономических и финансовых приложениях.

Например, при рассмотрении заявок на предоставления займов; предсказание трендов цен акций, товаров и курсов обмена валют.

В процессе обучения CPN =- сети входные векторы ассоциируется с соответствующими выходными векторами, которые могут быть двоичными (0 или 1) или непрерывными (от 0 до 1).

После обучения нейросети формируются выходные сигналы, которые соответствуют входным сигналам. CPN – сеть имеет 2 слоя с последовательными связями:

1 слой – слой Кохонена

2 слой – слой Гроссберга.

Каждый элемент входного сигнала подаётся на все нейроны слоя Кохонена. Каждый нейрон слоя Кохонена, соединён со всеми нейронами слоя Гроссберга.

Отличие CPN – сети от других многослойных сетей с последовательными связями, состоит в операциях выполняемых нейронами Кохонена и Гроссберга

Лекция 17 10.05.12

Функционирование CPN – сети.

В режиме функционирования нейронной сети предъявляется входной сигнал и формируется выходной сигнал вектор

Рассмотрим послойное функционирование CPN – сети.

1. Слой Кохонена.

В простейшей форме слой Кохонена функционирует по правилу, «победитель забирает всё».

Для определённого входного вектора, только один нейрон Кохонена выдаёт логическую единицу, все остальные нейроны выдают 0, то есть слой Кохонена работает в режиме аккредитации. При этом выход каждого нейрона Кохонена является суммой взвешенных элементов входных сигналов.

где, выходj – го нейрона Кохонена;

- вектор синоптических весов j – го нейрона Кохонена.

Нейрон Кохонена с максимальным значением - является нейроном победителем.

Его выход = 1, у остальных нейронов он = 0

2. Слой Гроссберга

Слой Гроссберга предназначен для совместной работы со слоем, дающим единственную единицу на выходе (Слой Кохонена, работающий в режиме аккредитации) или такой набор выходов, что их сумма = 1(слой Кохонена с функцией SoftMax, функционирующие в режиме интерполяции).

Выход слоя Гроссберга является взвешенной суммой выходов слоя Кохонена, то есть он является слоем нейронов с линейными активационными функциями.

где верхний индекс «2» означает слой Гроссберга.

Когда слой Кохонена функционирует так, что лишь один выход = 1, а остальные = 0, то есть имеем

тогда каждый нейрон слоя Гроссберга выдаёт величину синоптического веса, связывающего этот нейрон с единственным нейроном Кохонена, выход которого отличен от 0

Если слой Гроссберга состоит из единственного нейрона, то получающийся скалярный выход равен одному из весов, соответствующих соединениям этого элемента.

Обучение CPN – сети состоит из 2 процессов адаптации:

Этап 1 – процесс самостоятельной адаптации;

Этап 2 – процесс не самостоятельной адаптации.

На Этапе 1 происходит обучение слоя Кохонена. Слой Кохонена классифицирует входные векторы в группы схожих векторов. Это достигается путём такой настройки весовых коэффициентов, что близкие входные векторы, активирую один и тот же нейрон слоя Кохонена. Данный процесс называется, процесс самостоятельной адаптации – слой Кохонена обучается без учителя. В результате самообучения, слой Кохонена способен разделять несхожие входные векторы.

Этап 2 начинается после того, как произошло обучение слоя Кохонена. Выходы слоя Кохонена подаются на входы слоя Гроссберга. Нейрон типа OutStar (оутстар) Гроссберга,

согласовывает веса выходящих из нейрона связей, с узлами в которых формируются значения выходных сигналов. Как правило, Outstar – это линейный нейрон. Обучение представляет собой такой подбор весов , чтобы выходные сигналы (оутстара), были ровны ожидаемым значениямвзаимодействующих с ним нейронов. Обучение оутстара проводится по правилу Гроссберга:

где (этто) – коэффициент обучения.

- выходной сигнал нейрона «i», который выступает в роле источника.

При обучении выходного слоя Гроссберга, выполняется настройка его весов следующим образом:

Каждый вес корректируется лишь в том случае, если он соединён с нейроном Кохонена, имеющий не нулевой выход.

Величина коррекции веса пропорциональна разности между весом и требуемым выходом нейрона Гроссберга. Следовательно, 2 адаптационный процесс является несамостоятельным.

Обучение слоя Гроссберга, это обучение с учителем. Чтобы обучить CPN – сеть нужно обучающее множество, которое содержит пары векторов .

Особенность CPN- сети заключается в том, что оба вектора подаются и на вход, и снимаются с выхода сети. Если на вход сети подаются оба вектора, и на выходе будут получены тоже 2 вектора, то такая операция является бесполезной.

Однако, когда на вход нейронной сети подаётся только один вектор или, а тоCPN- сеть восстанавливает 2 вектор по правилу, которое изучено сетью на обучающем множестве. Таким образом, сеть встречного распространения имеет возможность получать выходные сигналы по входным и наоборот. Этим двум действиям соответствуют прямое и обратное распространение сигналов. Это важное свойство CPN – сети.