- •Глава 1
- •Глава 2 первые шаги Начинаем работу с пакетом
- •Создание набора данных
- •Создание новой сети
- •Сохранение набора данных и сети
- •Обучение сети
- •Запуск нейронной сети
- •Проведение классификации
- •Глава 3 дальнейшие возможности
- •Ирисы Фишера
- •Заключение
- •Обучение с кросс-проверкой
- •Условия остановки
- •Восстановление наилучшей сети
- •Решение задач регрессии
- •Радиальные базисные функции
- •Линейные модели
- •Сети Кохонена
- •Вероятностные (pnn) и обобщенно-регрессионные (grnn) сети
- •Автоматический конструктор сети
- •Генетический алгоритм отбора входных данных
- •Временные ряды
- •Глава 4 практические советы по решению задач
- •Представление данных
- •Выделение полезных входных переменных
- •Понижение размерности
- •Выбор архитектуры сети
- •Пользовательские архитектуры сетей
- •Временные ряды
- •Глава 5 краткое руководство
- •Обучение сетей
- •Работа с сетью
- •Пересылка результатов в систему statistica
- •Список литературы
Сохранение набора данных и сети
После того, как мы потратили время и усилия на создание сети и набора данных, неплохо бы сохранить результаты нашей работы для дальнейшего использования. В ST Neural Networks сеть и набор данных сохраняются в разных файлах - для этого используются диалоговые окна Сохранить сеть - Save Network и Сохранить набор данных - Save Data Set.
Сохранение набора данных
1. Откройте диалоговое окно Сохранить набор данных - Save Data Set с помощью команды Набор данных - Data Set... из меню Файл-Сохранить как - File-Save as.
2. Введите имя файла данных Xor.sta в поле Имя файла - File Name.
3. Нажмите кнопку Сохранить - Save.
Сеть сохраняется аналогичным образом с помощью окна Сохранить сеть - Save Network; в качестве стандартного расширения имени файла сети используются * .net или *.bnt.
Во
время сеанса работы имеет смысл
периодически сохранять сеть и набор
данных; функции Сеть...
- Network...
и
Набор
данных... - Data
Set...
меню
Файл-Сохранить
- File-Save
сохраняют
текущее состояние сети и файла данных,
не требуя повторного ввода имени файла.
То же самое можно сделать с помощью
кнопок
и
соответственно.
Обучение сети
Следующий шаг после задания набора данных и построения подходящей сети - это обучение.
В пакете ST Neural Networks реализованы основные алгоритмы обучения многослойных персептронов: методы обратного распространения, сопряженных градиентов и Левенберга-Маркара. В этой главе мы сосредоточимся на наиболее известном из них - методе обратного распространения (Patterson, 1996; Haykin, 1994; Fausett, 1994).
Суть метода обратного распространения
1. Алгоритм обратного распространения последовательно обучает сеть на данных из обучающего множества. На каждой итерации (они называются эпохами) все наблюдения из обучающего множества (в данном случае оно совпадает со всем набором данных) по очереди подаются на вход сети. Сеть обрабатывает их и выдает выходные значения.
2. Эти выходные значения сравниваются с целевыми выходными значениями, которые также содержатся в наборе исходных данных, и ошибка, то есть разность между желаемым и реальным выходом, используется для корректировки весов сети так. чтобы уменьшить эту ошибку.
3. Алгоритм должен находить компромисс между различными наблюдениями и менять веса таким образом, чтобы уменьшить суммарную ошибку на всем обучающем множестве; поскольку алгоритм обрабатывает наблюдения по одному, общая ошибка на отдельных шагах не обязательно будет убывать.
В пакете ST Neural Networks отслеживается общая ошибка сети - на графике, а также ее ошибки на отдельных наблюдениях - на гистограмме. Мы рекомендуем следить за ходом обучения сети, как минимум, по графику общей ошибки.
Чтобы обучить сеть в задаче «исключающего или», следя при этом за работой алгоритма, действуйте так, как описано далее.
Обучение методом обратного распространения
1.
Откройте окно График ошибки обучения
- Training Error Graph с помощью команды График
обучения... -Training Graph... меню Статистики
- Statistics или кнопки
2.
Откройте диалоговое окно Обратное
распространение - Back Propagation (справа) с
помощью команды Обратное распространение
- Back Propagation... меню Обучение
многослойного персептрона - Train-Multilayer
Perceptrons или кнопки
Подвиньте окна так, чтобы они не пересекались и были удобно расположены.
3. Нажмите кнопку Обучить - Train в диалоговом окне Обратное распространение - Back Propagation - будет запущен алгоритм обучения. При этом на график будет выводиться ошибка.
4. Повторно нажимайте кнопку Обучить - Train, чтобы алгоритм переходил к очередным эпохам.
Не удивляйтесь, если поначалу ошибка не будет существенно уменьшаться. Хотя задача «исключающего или» выглядит совсем простой, многослойному персептрону решить ее намного сложнее, чем многие реальные задачи, которые кажутся очень сложными. При тех параметрах по умолчанию, которые предложила нам программа ST Neural Networks, может потребоваться порядка тысячи итераций, прежде чем ошибка станет близка к нулю.
Оптимизация обучения
Режим работы алгоритма обратного распространения зависит от ряда параметров, и большинство из них собрано в диалоговом окне Обратное распространение - Back Propagation. Для большинства практических задач хорошим начальным приближением будут значения, принимаемые по умолчанию, но при необходимости их можно изменить. В случае же с задачей «исключающего или» эти настройки оказываются весьма неудачными.
Опишем кратко наиболее важные параметры и выберем их значения для задачи «исключающего или».
• Эпохи - Epochs. Задает число эпох обучения, которые проходятся при одном нажатии клавиши Обучить - Train. Значение по умолчанию 100 вполне приемлемо.
• Скорость обучения - Learning rate. При увеличении скорости обучения алгоритм работает быстрее, но в некоторых задачах это может привести к неустойчивости (особенно если данные зашумлены). Для задачи «исключающего или» подходит относительно высокая скорость обучения, например, 0,9.
• Инерция - Momentum. Этот параметр улучшает (ускоряет) обучение в ситуациях, когда ошибка мало меняется, а также придает алгоритму дополнительную устойчивость. Значение этого параметра всегда должно лежать в интервале [0;1) (т.е. быть больше или равно нулю и меньше единицы). Часто рекомендуется использовать высокую скорость обучения в сочетании с небольшим коэффициентом инерции и наоборот. Однако, в задаче «исключающего или» оба параметра нужно взять большими, например, 0,9.
• Перемешивать наблюдения - Shuffle Cases. При использовании этой функции порядок, в котором наблюдения подаются на вход сети, меняется в каждой новой эпохе. Это добавляет в обучение некоторый шум, так что ошибка может испытывать небольшие колебания. Однако при этом меньше вероятность того, что алгоритм «застрянет», и общие показатели его работы обычно улучшаются.
При таких настройках параметров пакет ST Neural Networks решает задачу «исключающего или» примерно за двести итераций.
Замечание. В пакете ST Neural Networks имеется возможность менять скорость обучения и/или коэффициент инерции от эпохи к эпохе, постепенно сдвигая их от начальных значений, заданных в полях в левой части диалогового окна Обратное распространение - Back Propagation, к их конечным значениям, заданным в правой части окна. Например, можно уменьшать скорость по ходу обучения. При задании начальных значений конечные значения по умолчанию устанавливаются такими же.
Выполнение повторных прогонов
Если вы хотите сравнить результаты работы алгоритма в разных вариантах, воспользуйтесь кнопкой Переустановить - Reinitialize диалогового окна Обратное распространение - Back Propagation. В результате веса сети вновь будут установлены случайным образом для начала следующего сеанса обучения. Если теперь после кнопки Переустановить -Reinitialize нажать кнопку Обучить - Train, на графике начнет рисоваться новая линия.
Если в результате таких действий график станет слишком «замусоренным», его можно очистить с помощью кнопки Очистить - Clear окна График обучения - Training Graph.
Совет. Чтобы сделать сравнение более наглядным, можно рисовать линии разными цветами. Введите значение в поле Метка - Label в окне График обучения - Training Graph, и тогда следующая линия будет нарисована другим цветом, а указанная метка будет выведена справа от графика как условное обозначение.
Ошибки для отдельных наблюдений
В окне График обучения - Training Graph выводится суммарная ошибка сети. Но иногда бывает полезно проследить за тем, как алгоритм обучения воспринимает отдельные наблюдения.
В
пакете ST
Neural
Networks
это
делается в окне Ошибки
наблюдений... -Case
Errors,
которое
открывается командой Ошибки
наблюдений... – Case
Errors...
меню
Статистики
- Statistics
или
кнопкой
.
Ошибки
на
отдельных наблюдениях выводятся в виде
гистограммы.
В конце сеанса обучения ошибки пересчитываются. Имеется также возможность следить за тем, как они меняются в процессе обучения - для этого служит функция Пересчитывать по ходу -Real-time update окна Ошибки наблюдений... - Case Errors, ее нужно активизировать перед запуском алгоритма обратного распространения. Сделав это, вы сможете наблюдать, как алгоритм пытается искать компромисс между обучающими и мешающими наблюдениями.
