Акустических сигналов самолета и вертолета Скорость обучения нейросети при различных функциях активации и количестве нейронов скрытого слоя

Создание нейросетевой системы распознавания предусматривает разработку программы эмуляции работы нейронной сети и аппаратную реализацию разработанного нейросетевого алгоритма. Количество нейронов и межнейронных связей в сети определяет сложность реализации системы. В случае программной эмуляции нейросети объем памяти для хранения состояний нейронов и весов, производительность вычислительного устройства ограничивают области практического применения нейросетевой технологии.

Аппаратная реализация с использованием аналоговых или цифровых нейрочипов позволяет построить высокопроизводительные системы обработки сигналов, способные работать в масштабе времени, близком к реальному. Однако в некоторых задачах, характерных для АИС, требуемое количество нейронов и особенно межнейронных связей делает аппаратную реализацию очень дорогой или вообще неосуществимой из-за технологических ограничений, энергопотребления и занимаемого системой объема.

Естест­вен­ное желание при разработке нейронных сетей - минимизация количества нейронов и межнейронных связей. В рассматриваемом примере нахождение рациональной структуры нейронной се­ти основано на исследовании характеристик обучаемости и работоспособности нейросетей с различными функциями активации нейронов и их различном количестве при наличии на входе помех. Особое внимание уделено возможности реализации оптимальных структур нейронных сетей на существующей элементной базе с сохранением требуемых рабочих характеристик.

На основании [4, 24] в качестве базовой выбрана разомкнутая нейронная сеть (НС) с фиксированной структурой, которая предполагает неизменное в режиме настройки число слоев и число нейронов в каждом слое. В общем случае под структурой НС понимается структура преобразования , осуще­ст­вля­е­мого системой на этапе распознавания.

Основной является задача обоснования варианта структуры НС. В рассматриваемом примере не предполагалось использование НС с перекрестными связями, а анализировалась однород­ная структура многослойных НС с последовательными связями, которая в простейшем случае реализует кусочно-линейную разделяющую поверхность в исходном пространстве признаков.

Использование последовательных связей позволяет строить безынерционные нейронные сети с простой топологией связей и реализовать произвольное преобразование . В работе [4] показано, что трехслойная нейронная сеть с последовательными связями способна реализовать произвольное отображение . Граф многослойной нейросети с последовательными связями приведен на рис. 5.24.

Рис. 5.24. Граф многослойной нейронной сети с последовательными связями

На основании результатов работ по построению аналогичных НС [4] в качестве исходной для исследований выбрана НС с количеством слоев, равным 2. Такая размерность сети соответствует предъявляемым требованиям как по рабочим характеристикам, так и по занимаемому объему при реализации на существующей элементной базе.

Поэтому основным содержанием исследований рациональной структуры НС в рас­сматриваемом случае является поиск необходимого количества нейронов в каждом из слоев и наиболее подходящей активационной функции.

Тогда на каждом к–ом выходе НС отклик на входной вектор , размерностью N_j может быть представлен в виде

,

где N_i – количество нейронов в первом слое; f₁ и f₂ – функции активации нейронов соответственно первого и второго слоев ; – весовые коэффициенты первого слоя; – весовые коэффициенты второго слоя; и – нулевые веса соответственно нейронов первого и второго слоев.

Выходной слой НС содержал 2 нейрона по количеству распознаваемых классов (самолет и вертолет).

При решении задачи рассматривались активационные функции:

– сигмоидальная, или логистическая

;

• пороговая

;

• ступенчатая

.

При обучении НС пороговая и ступенчатая функции активации аппроксимировались дифференцируемыми функциями. При решении задачи обучения НС предполагалось, что учитель точно знает тип объекта для каждой реализации.

Обучение нейронной сети производилось на обучающем множестве из 150 реализаций (по 50 для каждого из классов), полученных на основании модельных сигналов. Тестирование НС производилось на тестовом множествах, включающих по 25 реализаций для каждого класса объектов, полученных экспериментально в натурных условиях. В соответствии с выбранным функционалом оптимизации – минимум среднего значения квадрата ошибки между реальным и требуемым значениями выходного сигнала, в качестве алгоритма обучения выбран алгоритм back-propagation. Нейронная сеть в режиме обучения представляет собой замкнутую НС, состоящую в общем случае из разомкнутой НС и блока настройки.

В процессе оптимизации исследовалась скорость обучения НС определенной конфигурации. На рис. 5.25–5.27 приведены зависимости % ошибок при обучении НС от количества итераций в зависимости от количества нейронов первого слоя при различных видах активационных функций нейронов первого слоя.

Рис. 5.25.Скорость обучения НС со ступенчатой активационной функцией

Рис. 5.26. Скорость обучения НС с пороговой активационной функцией

Рис. 5.27. Скорость обучения НС с логистической активационной функцией

Результаты анализа зависимостей ошибки обучения от номера итерации свидетельствуют о влиянии количества нейронов в первом слое на скорость обучения. Так, для всех трех представленных активационных функций увеличение количества нейронов приводит к уменьшению времени процесса обучения сети. Это уменьшение происходит, однако, не в равной степени для каждой из рас­сматриваемых НС. Наибольшее относительное уменьшение происходит у сетей с логистической функцией активации и наименьшее – со ступенчатой. С увеличением числа нейронов вид целевой функции становится более плавным и уменьшается количество локальных минимумов, что особенно проявляется в сети со ступенчатой активационной функцией. При четырех нейронах в первом слое уже заметно стремление процесса обучения к глобальному минимуму.

Таким образом, наилучшими показателями в отношении скорости обучения обладают НС с логистической активационной функцией. Несколько хуже показатели сетей с пороговой функцией активации. Использовать же ступенчатую активационную функцию лучше, если количество нейронов в первом слое больше двух.

Тестирование проводилось на специально сформированном тестовом множестве.

Важной характеристикой систем принятия решения является робастность (П.5.4). В рассматриваемом случае это особенно важно, поскольку объем обучающего множества относительно невелик. В ходе тестирования обученных НС использованы РДИН, полученные из имеющиеся реализаций сигналов и размытые шумом определенного уровня с гауссовским распределением.

При этом использовалась возможность задания различной относительной величины среднего квадратического значения подмешиваемого шума к компонентам вектора РДИН в диапазоне от 0 до 1. Результаты тестирования нейронных сетей с различным количеством нейронов и активационными функциями в первом слое, а также различном уровне шума приведены на рис. 5.28-5.30.

Рис. 5.28. Ошибка тестирования НС со ступенчатой функцией активации

Рис.5.29. Ошибка тестирования НС с пороговой функцией активации

Рис. 5.30. Ошибка тестирования НС с логистической функцией активации

Представленные зависимости получены путем усреднения результатов нескольких экспериментов (проводилось по 10 тестирований). Это обусловлено тем, что каждый раз при тестировании на вход нейронной сети подаются различные входные вектора из-за вероятностного характера подмешиваемого шума. Анализ полученных зависимостей ошибок распознавания от количества нейронов и типа активационной функции в первом слое показывает, что при относительном изменении среднего квадратического значения шума от 0 до 10% наилучшими показателями обладают НС с логистической активационной функцией и примерно одинаковыми – сети с пороговой и ступенчатой функциями. При дальнейшем увеличении относительного уровня шума среднее количество ошибок тестирования становится примерно одинаковым для всех типов сетей.

Для всех типов активационных функций характерно то, что с увеличением количества нейронов возрастает и средняя ошибка тестирования при одина­ковых относительных уровнях шума. Следует отметить, что для нейронной сети с логистической функцией активации процент ошибок пра­ктически не зависит от количества нейронов в первом слое. Нейронные же сети с пороговой и ступенчатой функцией таким свойством не обладают.