Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
НЕЙРОСЕТИ_уч_Боровков.doc
Скачиваний:
1
Добавлен:
01.04.2025
Размер:
3 Мб
Скачать
☆

Сохранение набора данных и сети

После того, как мы потратили время и усилия на создание сети и набора данных, неплохо бы сохранить результаты нашей работы для дальнейше­го использования. В ST Neural Networks сеть и набор данных сохраняются в разных файлах - для этого используются диалоговые окна Сохранить сеть - Save Network и Сохранить набор данных - Save Data Set.

Сохранение набора данных

1. Откройте диалоговое окно Сохранить набор данных - Save Data Set с помощью команды Набор данных - Data Set... из меню Файл-Сохранить как - File-Save as.

2. Введите имя файла данных Xor.sta в поле Имя файла - File Name.

3. Нажмите кнопку Сохранить - Save.

Сеть сохраняется аналогичным образом с помощью окна Сохранить сеть - Save Network; в качестве стандартного расширения имени файла сети используются * .net или *.bnt.

Во время сеанса работы имеет смысл периодически сохранять сеть и на­бор данных; функции Сеть... - Network... и Набор данных... - Data Set... меню Файл-Сохранить - File-Save сохраняют текущее состояние сети и файла данных, не требуя повторного ввода имени файла. То же самое можно сделать с помощью кнопок и соответственно.

Обучение сети

Следующий шаг после задания набора данных и построения подходящей сети - это обучение.

В пакете ST Neural Networks реализованы основные алгоритмы обучения многослойных персептронов: методы обратного распространения, сопря­женных градиентов и Левенберга-Маркара. В этой главе мы сосредото­чимся на наиболее известном из них - методе обратного распространения (Patterson, 1996; Haykin, 1994; Fausett, 1994).

Суть метода обратного распространения

1. Алгоритм обратного распространения последовательно обучает сеть на данных из обучающего множества. На каждой итерации (они на­зываются эпохами) все наблюдения из обучающего множества (в данном случае оно совпадает со всем набором данных) по очереди подаются на вход сети. Сеть обрабатывает их и выдает выходные зна­чения.

2. Эти выходные значения сравниваются с целевыми выходными значе­ниями, которые также содержатся в наборе исходных данных, и ошибка, то есть разность между желаемым и реальным выходом, ис­пользуется для корректировки весов сети так. чтобы уменьшить эту ошибку.

3. Алгоритм должен находить компромисс между различными наблю­дениями и менять веса таким образом, чтобы уменьшить суммарную ошибку на всем обучающем множестве; поскольку алгоритм обраба­тывает наблюдения по одному, общая ошибка на отдельных шагах не обязательно будет убывать.

В пакете ST Neural Networks отслеживается общая ошибка сети - на гра­фике, а также ее ошибки на отдельных наблюдениях - на гистограмме. Мы рекомендуем следить за ходом обучения сети, как минимум, по гра­фику общей ошибки.

Чтобы обучить сеть в задаче «исключающего или», следя при этом за ра­ботой алгоритма, действуйте так, как описано далее.

Обучение методом обратного распространения

1. Откройте окно График ошибки обучения - Training Error Graph с по­мощью команды График обучения... -Training Graph... меню Статистики - Statistics или кнопки

2. Откройте диалоговое окно Обратное распространение - Back Propagation (справа) с помощью команды Обратное распростране­ние - Back Propagation... меню Обучение многослойного персептрона - Train-Multilayer Perceptrons или кнопки

Подвиньте окна так, чтобы они не пересекались и были удобно рас­положены.

3. Нажмите кнопку Обучить - Train в диалоговом окне Обратное рас­пространение - Back Propagation - будет запущен алгоритм обучения. При этом на график будет выводиться ошибка.

4. Повторно нажимайте кнопку Обучить - Train, чтобы алгоритм пере­ходил к очередным эпохам.

Не удивляйтесь, если поначалу ошибка не будет существенно уменьшать­ся. Хотя задача «исключающего или» выглядит совсем простой, много­слойному персептрону решить ее намного сложнее, чем многие реальные задачи, которые кажутся очень сложными. При тех параметрах по умол­чанию, которые предложила нам программа ST Neural Networks, может потребоваться порядка тысячи итераций, прежде чем ошибка станет близ­ка к нулю.

Оптимизация обучения

Режим работы алгоритма обратного распространения зависит от ряда па­раметров, и большинство из них собрано в диалоговом окне Обратное распространение - Back Propagation. Для большинства практических за­дач хорошим начальным приближением будут значения, принимаемые по умолчанию, но при необходимости их можно изменить. В случае же с задачей «исключающего или» эти настройки оказываются весьма неудач­ными.

Опишем кратко наиболее важные параметры и выберем их значения для задачи «исключающего или».

• Эпохи - Epochs. Задает число эпох обучения, которые проходятся при одном нажатии клавиши Обучить - Train. Значение по умолчанию 100 вполне приемлемо.

• Скорость обучения - Learning rate. При увеличении скорости обуче­ния алгоритм работает быстрее, но в некоторых задачах это может привести к неустойчивости (особенно если данные зашумлены). Для задачи «исключающего или» подходит относительно высокая ско­рость обучения, например, 0,9.

• Инерция - Momentum. Этот параметр улучшает (ускоряет) обучение в ситуациях, когда ошибка мало меняется, а также придает алгоритму дополнительную устойчивость. Значение этого параметра всегда должно лежать в интервале [0;1) (т.е. быть больше или равно нулю и меньше единицы). Часто рекомендуется использовать высокую ско­рость обучения в сочетании с небольшим коэффициентом инерции и наоборот. Однако, в задаче «исключающего или» оба параметра нуж­но взять большими, например, 0,9.

• Перемешивать наблюдения - Shuffle Cases. При использовании этой функции порядок, в котором наблюдения подаются на вход сети, ме­няется в каждой новой эпохе. Это добавляет в обучение некоторый шум, так что ошибка может испытывать небольшие колебания. Одна­ко при этом меньше вероятность того, что алгоритм «застрянет», и общие показатели его работы обычно улучшаются.

При таких настройках параметров пакет ST Neural Networks решает задачу «исключающего или» примерно за двести итераций.

Замечание. В пакете ST Neural Networks имеется возможность менять скорость обучения и/или коэффициент инерции от эпохи к эпохе, посте­пенно сдвигая их от начальных значений, заданных в полях в левой части диалогового окна Обратное распространение - Back Propagation, к их конечным значениям, заданным в правой части окна. Например, можно уменьшать скорость по ходу обучения. При задании начальных значений конечные значения по умолчанию устанавливаются такими же.

Выполнение повторных прогонов

Если вы хотите сравнить результаты работы алгоритма в разных вариан­тах, воспользуйтесь кнопкой Переустановить - Reinitialize диалогового окна Обратное распространение - Back Propagation. В результате веса сети вновь будут установлены случайным образом для начала следующе­го сеанса обучения. Если теперь после кнопки Переустановить -Reinitialize нажать кнопку Обучить - Train, на графике начнет рисоваться новая линия.

Если в результате таких действий график станет слишком «замусорен­ным», его можно очистить с помощью кнопки Очистить - Clear окна График обучения - Training Graph.

Совет. Чтобы сделать сравнение более наглядным, можно рисовать ли­нии разными цветами. Введите значение в поле Метка - Label в окне График обучения - Training Graph, и тогда следующая линия будет нарисована другим цветом, а указанная метка будет выведена справа от графика как условное обозначение.

Ошибки для отдельных наблюдений

В окне График обучения - Training Graph выводится суммарная ошибка сети. Но иногда бывает полезно проследить за тем, как алгоритм обучения воспринимает отдельные наблюдения.

В пакете ST Neural Networks это делается в окне Ошибки наблюдений... -Case Errors, которое открывается командой Ошибки наблюдений... – Case Errors... меню Статистики - Statistics или кнопкой . Ошибки на отдельных наблюдениях выводятся в виде гистограммы.

В конце сеанса обучения ошибки пересчитываются. Имеется также воз­можность следить за тем, как они меняются в процессе обучения - для этого служит функция Пересчитывать по ходу -Real-time update окна Ошибки наблюдений... - Case Errors, ее нужно активизировать перед запуском алгоритма обратного распространения. Сделав это, вы сможете наблюдать, как алгоритм пытается искать компромисс между обучающими и мешающими наблюдениями.