9 Основные модели динамических нейронных сетей.
Выделяют: соревновательные сети, SOM (самоорганизующиеся карты Кохонена), сеть Хопфилда (сети с обратными связями, т.е. от выходов к их входам) и ART модели (модели адаптивного резонанса).
Сеть APT представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выражает в форме возбуждения одного из нейронов распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор.
Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом, решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.
На рисунке показана упрощенная конфигурация сети APT, представленная в виде пяти функциональных модулей. Она включает два слоя нейронов, так называемых «слой сравнения» и «слой распознавания». Приемник 1, Приемник 2 и Сброс обеспечивают управляющие функции, необходимые для обучения и классификации.
Перед рассмотрением вопросов функционирования сети в целом необходимо рассмотреть отдельно функции модулей; далее обсуждаются функции каждого из них.
Слой сравнения. Слой сравнения получает двоичный входной вектор Х и первоначально пропускает его неизмененным для формирования выходного вектора C. На более поздней фазе в распознающем слое вырабатывается двоичный вектор R, модифицирующий вектор C.
Слой распознавания. Слой распознавания осуществляет классификацию входных векторов. Каждый нейрон в слое распознавания имеет соответствующий вектор весов Bj Только один нейрон с весовым вектором, наиболее соответствующим входному вектору, возбуждается; все остальные нейроны заторможены.
Сброс. Модуль сброса измеряет сходство между векторами X и C. Если они отличаются сильнее, чем требует параметр сходства, вырабатывается сигнал сброса возбужденного нейрона в слое распознавания.
10 Парадигмы обучения нейронных сетей.
Функционирование НС, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными). Этот этап называется обучением НС, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса. Модель предметной области или внешней среды, в которой будет функционировать нейронная сеть, определяет парадигму обучения, способ модификации весов, который влияет на правила обучения. Существует 3 парадигмы обучения:
Обучение с учителем (контролируемое). Заключается в том, что на каждый входной пример нейронная сеть получает от учителя соответствующий выходной пример и веса связей настраиваются таким образом, чтобы сеть формировала ответы наиболее близкие к заданным выходам.
Процесс обучения носит итерационный характер. Последовательно подаются входные выходные сигналы для каждого примера. В результате полученное распределение весов должно обеспечивать правильное вычисление выходов для обучающей выборки. На тестовых примерах проверяется правильность обучения.
Обучение без учителя. Не требуются ответы на каждый пример обучающей выборки при этом входные примеры разбиваются на классы за счет присущей примерам корреляции.
Смешанное обучение. Часть весов определяется путем обучения с учителем, а остальная – в процессе самообучения.