3.3.3.2. Метод коррекции ошибки

Обучение ИНС методом обратного распространения ошибки является достаточно длительным процессом. С увеличением размера сети увеличивается потребное количество циклов обучения. Особенно это заметно при увеличении количества слоев сети. С ростом размера сети также увеличивается и время на проведение одного цикла обучения, поскольку увеличивается число параметров, которые необходимо настроить. При решении сложных задач, где большой размер ИНС необходим, чрезмерная длительность процесса обучения может стать серьезной проблемой.

Для сокращения потребного количества циклов обучения в процессе выполнения работы был разработан так называемый метод коррекции ошибки. Суть метода состоит в следующем: В методе обратного распространения ошибки обучение сети осуществляется движением по поверхности функции ошибок Е в сторону, противоположную градиенту функции ошибки шагами, пропорциональными скорости обучения η. При большом значении η обучение происходит быстро, однако высока вероятность того, что мы проскочим необходимый минимум. Существует даже возможность того, что процесс начнет расходиться. При малых значениях η минимум будет найден, однако процесс обучения потребует большого количества циклов. Метод коррекции ошибки заключается в варьировании скорости обучения η. Причем корректировка скорости различна для разных обучающих примеров. Отдельная корректировка осуществляется для обучающих примеров, ошибка сети на которых составила больше 5%, больше 1% и больше 0.1%. Это позволяет отдельно определять скорость обучения на различных участках обучающей выборки. Там, где сеть показывает неудовлетворительный результат, скорость обучения увеличивается. А там, где результат уже близок к желаемому – уменьшается для избегания прохождения минимума.

На Рис 28 представлен процесс обучения однослойной сети с 5 нейронами с применением метода коррекции ошибки и без его применения. Критерием оценки являются среднеквадратичная погрешность _х и количество циклов обучения.

Рис. 28. Сравнение процесса обучения с использованием метода коррекции ошибки и без него

Из графиков видно, что при использовании метода коррекции ошибки результат сходится быстрее. Уже при 4 миллионах циклов обучения _м.корр=0.00115, в то время как _{об. метод}=0.00501. При дальнейшем обучении сети без использования метода коррекции достичь _{об.метод} =0.00112 удалость только при 70 миллионах циклов обучения. Таким образом, при использовании метода коррекции ошибки для обучения понадобилось в 17.5 раз меньше циклов обучения, чем при использовании обычного метода обучения.

Метод коррекции ошибки реализован в ПО «Искусственные Нейронные Сети 1.1»

4.5 Обучение нейронной сети с учетом результатов исследований.

Проведенные нами исследования позволили установить основные закономерности и тенденции в поведении ИНС. Мы выяснили, что влияет на эффективность ее работы. От чего зависит точность результатов, выдаваемых нейросетью, и что влияет на скорость ее функционирования. Мы установили роль предобработки данных, поступающих в ИНС и т.д.

Нами были проведены следующие исследования:

1. Исследование влияние конфигурации ИНС на эффективность ее работы.

   1. Была оценена сходимость по числу нейронов в слое и количеству циклов обучения. Установлено, что увеличение количества нейронов увеличивает точность результатов, выдаваемых ИНС, и одновременно увеличивает потребное количество циклов обучения.

   2. Была оценена сходимость по числу слоев сети и количеству циклов обучения. Было установлено, что с увеличением количества слоев увеличивается точность результата. Также при этом в несколько раз увеличивается потребное количество циклов обучения и время, затрачиваемое на проведение одного цикла.

   3. Было оценено влияние количества входов и выходов сети. Мы выяснили, что увеличение входных параметров требует значительного увеличения мощности ИНС. Увеличение же количества выходов практически не требует существенного наращивания мощности.

2. Мы исследовали влияние предварительной обработки входных и выходных данных. Был сформулирован основной принцип предварительной обработки – повышение информативности параметров. Рассмотрели несколько способов повышения информативности параметров и эффект от их применения.

3. Была проведена оптимизация процесса обучения. Был рассмотрен и внедрен усовершенствованный метод обратного распространения ошибки. Также был разработан метод коррекции ошибки, позволяющий значительно сократить потребное количество циклов обучения ИНС.

Только комплексное применение всех результатов исследований может дать положительный результат моделирования аэродинамических характеристик при помощи нейросетевого аппарата.

Результаты исследования влияния конфигурации ИНС на эффективность ее работы и серия опытов позволили определить оптимальный размер нейронной сети для решения поставленной задачи: двухслойная сеть с 25 нейронами в каждом слое; количество входов 4; количество выходов 4.

Исследования влияния предварительной обработки данных позволили определить оптимальную методику нормирования данных для повышения их информативности. При решении поставленной задачи мы будем проводить линейное нормирование входных данных для приведения в оптимальный диапазон [-10;10], при коэффициенте функции активации =0.5 и линейное нормирование выходных данных до оптимального диапазона значений [0.15;0.85].

В процессе обучения будут применяться усовершенствованный метод обратного распространения ошибки, а также метод коррекции ошибки.