5.4. Робастное обучение нейросети

Синтез нейросетевых алгоритмов в АИС часто осуществляется в условиях априорной неопределенности относительно характеристик сигналов и помех. При этом весьма эффективными оказываются робастные методы обучения [10], которые широко используются для решения таких задач, как обнаружение, оценивание и кодирование сигналов в локации и системах связи; распознавание образов, обработка изображений.

Одной из широко используемых мер повышения эффективности робастных систем, которая во многих ситуациях приводит к полезным результатам, является ориентация на наихудший случай на классе входных условий. Этот подход приводит к так называемым минимаксным робастным алгоритмам [11].

В большинстве работ по минимаксным методам рассматриваются вариации спектральной плотности мощности сигналов и помех, а не плотности распределения вероятностей. Для построения стационарных линейных и нелинейных систем используется ряд полезных моделей спектральной неопределенности: модель - загрязнения, модель -окрестности, p-точечная модель и т. д. [11]. Для обучения нейросетей на основе реализаций, полученных в натурных условиях, или на основе математических моделей сигналов, формируются обучающие множества входных реализаций, которые часто представляют собой нестационарные случайные процессы. Для снятия ограничений, связанных с нестационарностью входных воздействий, в нейросетях часто выделяют вторичные признаки и формируют N-мерные векторы входных реализаций. В процессе обучения многослойной нейросети (НС) реализуется в простейшем случае (для НС с однородной структурой) кусочно-линейная разделяющая поверхность в исходном N-мерном пространстве признаков.

Поэтому традиционные методы робастного обучения при оптимизации нейронных сетей часто оказываются неприемлемыми. В рассматриваемом слу­чае удобнее использовать модель неопределенности состояния вектора входной реализации, основанную на понятии эпсилон-энтропии [8].

Пусть вектор входной реализации обучающего множества U, в общем случае нецентрированный, описывается многомерной плотностью распределения вероятностей . Неопределенность в исходном описании входного вектора U можно учесть суммированием вектора U с некоррелированным центрированным вектором , обладающим наименее благоприятной для решения поставленной задачи плотностью распределения ве­ро­ятностей .Тогда робастное обучение нейросети необходимо проводить, используя новый обучающий вектор Z = U + .

Статистическую связь между N-мерными ансамблями случайных величин и отражают условные плотности распределения вероятностей и , а также совместная плотность распределения вероятностей .

Для количественной оценки степени различия векторов вводится функция , имеющая смысл расстояния. Наиболее широко используется среднеквадратический критерий, при котором представляет собой квадрат расстояния в N-мерном евклидовом пространстве. Тогда критерием степени различия векторов и может быть среднее значение функции , взятое по всему множеству и .

, (5.29)

где интегралы являются N-мерными.

Степень различия векторов и может быть задана неравенством

, (5.30)

где  -заданное значение различия.

Количество информации, приходящееся в среднем на одну координату векторов U и Z, согласно [8], определяется выражением

. (5.31)

Так как плотность W(U) определена, то для выполнения условия (5.30) можно варьировать только условную плотность распределения . При минимаксном подходе необходимо потребовать, чтобы при заданной степени различия векторов и функция обеспечивала наименьшее (5.31).

Минимальное количество информации , при которой удовлетворяется требование заданной степени различия  (5.30), называется -энтропией вектора и обозначается

. (5.32)

Минимальное количество информации (5.32) будет получено при некоррелированном векторе , т. е. когда

,

где – одномерная плотность распределения вероятностей случайной величины . Для обоснования наихудшего распределения , используем безус­ловную и условную дифференциальные энтропии случайной величины , тогда выражение (5.32) можно представить в виде

. (5.33)

Так как в рассматриваемом случае случайная величина _i не коррелирована с , то в выражении (5.33) полностью определяется помехой, тогда

, (5.34)

где – дифференциальная энтропия помехи,

Известно [8], что при ограничении на дисперсию случайной величины максимальной дифференциальной энтропией обладает нормальное распределение. Поэтому

. (5.35)

Откуда, при нормальном распределении величины U_i

;

, (5.36)

где _i² -дисперсия случайной величины U_i.

Для произвольно распределенной случайной величины U_i при малых  (когда H_(U) велико) справедливо приближенное равенство

. (5.37)

Если единственным ограничением для случайной величины _i является область ее возможных значений [, ] , то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области.

Как отмечалось выше, вектор входной реализации обучающего множества часто нецентрированый, для которого априорно не известно математическое ожидание. Исходя из геометрических представлений, при формировании обучающего множества для робастного обучения нейросети целесообразно выбирать одинаковую относительную степень различия по каждой координате

(5.38)

где - среднее значение квадрата случайной величины .

При таком задании степени неопределенности наихудшим распределением случайной величины _i при робастном обучении, как показано выше, будет нормальное.