Скорость обучения и ошибки тестирования робастной нейросети

Для улучшения рабочих характеристик рассмотренных НС проводилось их робастное обучение с использованием векторов РДИН, размытых шумом c наихудшим распределением и относительным средним квадратическим значением подмешиваемого шума в диапазоне от 0 до 0.1.

Согласно П.5.4, наихудшим распределением шума в рассматриваемом случае при формировании вектора РДИН является нормальный некоррелированный шум. Как показали исследования, максимальный относительный уровень среднего квадратического значения подмешиваемого шума в рассматриваемом случае, при котором возможно обучение НС, приблизительно равен 0,1. На рис. 5.31–5.33 приведены результаты, характеризующие скорость обучения НС в зависимости от функций активации первого слоя при различном количестве нейронов. Следует отметить значительное увеличение общего времени обучения для всех типов исследуемых нейронных сетей по сравнению с результатами обучения без добавления к обучающему множеству шумовой составляющей. В среднем время обучения увеличилось в два с половиной раза.

Рис. 5.31. Скорость робастного обучения НС со ступенчатой активационной функцией

Рис. 5.32. Скорость робастного обучения НС с пороговой активационной функцией

Рис. 5.33. Скорость робастного обучения НС с логистической активационной функцией

Анализ полученных результатов свидетельствует о том, что наибольшей скоростью обучения обладает нейронная сеть с логистической активационной функцией, процесс обучения обладает достаточно неплохой сходимостью к то­чке глобального минимума и не попадает в локальные минимумы. Более длитель­ным временем обучения обладает нейросеть с пороговой активационной функцией. Сравнивая ее характеристики с полученными ранее, при отсутствии шума в процессе обучения, можно отметить заметное ухудшение сходимости процесса обучения к глобальному минимуму, особенно при небольшом количестве нейронов в первом слое. Время обучения при этом увеличилось в среднем в два раза.

В случае ступенчатой активационной функцией время процесса обучения НС становится неограниченно большим или сеть просто не обучается. Процесс обучения такой НС не обладает признаками сходимости к глобальному минимуму, и средняя ошибка обучения остается практически постоянной. По сравнению с обучением в отсутствии шума характеристики нейросети данного вида сильно ухудшились.

В целом для НС с различными активационными функциями характерно снижение времени обучения при увеличении числа нейронов в первом слое, а также уменьшение величины средней ошибки обучения. Данные результаты полностью совпадают с результатами, полученными в ходе обучения этих же НС в отсутствии шума. Наиболее заметны отличия в сети со ступенчатой функ­цией активации, поскольку увеличение числа нейронов в ней не приводило к ускорению сходимости процесса обучения к глобальному минимуму и практиче­ски не снижало среднюю ошибку обучения.

Обобщая полученные результаты, можно сделать вывод о том, что обучение НС с добавлением шума к обучающему множеству резко ухудшает показатели скорости обучения для сетей с различными типами активационных функций и разным количеством нейронов в первом слое. Однако процесс обучения для логистической и пороговой активационных функций завершился успешно, что свидетельствует о приемлемости данного способа обучения нейросетей в аналогичных задачах.

Худшие результаты показала НС со ступенчатой активационной функцией, поскольку она смогла обучиться в данных условиях лишь при четырех нейронах в первом слое. Данный факт ставит под сомнение возможность её успешного использования в нейросетевом распознавателе акустических сигналов.

Тестирование робастно обученных нейронных сетей проводилось на тестовом множестве, сформированном по размытым шумом входным векторам РДИН. В качестве добавляемого к реализациям РДИН использовался некоррелированный шум с гауссовским распределением и диапазоном изменения относительной величины среднего квадратического значения от 0 до 1.

Результаты тестирования нейронных сетей с различными количеством нейронов в первом слое и активационными функциями в зависимости от относительного уровня среднего квадратического значения подмешиваемого шума приведены на рис.5.34–5.36.

Эти зависимости получены путем усреднения результатов экспериментов (проводилось по 10 тестирований для каждого типа НС).

Рис. 5.34. Ошибка тестирования робастной НС со ступенчатой