3.3.2.3. Дискретизация входных данных.

В процессе проведения исследований поведения ИНС был разработан дополнительный метод увеличения информативности входных параметров. Суть этого метода состоит в разбиении всех входных параметров по десятичным разрядам и подаче каждого разряда на отдельный вход ИНС. Количество десятичных разрядов, на которые раскладывается число, определяется степенью дискретизации. Например, если степень дискретизации равна двум, число разбивается на единицы и десятки; если трем – на единицы, десятки, сотни; и т.д.

Рис. 25. Метод дискретизации.

Т.е., если, скажем, на вход ИНС поступает число 125.57, а степень дискретизации была задана равной 2, число 125.57 разбивается на два числа 12 (12 десятков) и 5.57 (5.57 единиц). При этом количество входов ИНС равно N=M*D, где N – количество входов сети, M – количество входных параметров, D – степень дискретизации.

Как показали эксперименты, дискретизация входных данных увеличивает мощность ИНС(за счет увеличения количества настраиваемых параметров), а также информативность входных параметров, когда их величина составляет порядка 1000 и выше. Информативность увеличивается по причине того, что входные параметры не нужно приводить в какой-то интервал значений, в котором данные будут уже мало отличаться друг от друга и, следовательно, нести мало информации. Их разброс по интервалу изменения остается разреженным. Все это увеличивает способность сети моделировать сложные зависимости. Однако при дискретизации входных данных в зонах переходов разрядов (например, когда значение входного параметра сменяется с 19 на 20 и на входы поступает уже не 1 и 9, а 2 и 0) возникают различные локальные скачки, увеличивающие погрешность и несколько искажающие общую картину зависимости. Было установлено, что подобное решение имеет смысл при значительных величинах входных данных, когда они имеют по несколько разрядов. (значения порядка 1000 и выше). В этом случае локальные искажения не оказывают значительного влияния на общую картину зависимости, а общая погрешность ИНС снижается, за счет увеличения ее мощности.

В решаемой нами задаче все входные параметры имеют лишь 2 разряда и применение этого метода не целесообразно.

Аппарат дискретизации входных параметров реализован в ПО «Искусственные Нейронные Сети 1.1»

4.4 Оптимизация процесса обучения нейронной сети

3.3.3.1. Усовершенствование метода обратного распространения ошибки

Обучение ИНС методом обратного распространения ошибки осуществляется движением по поверхности функции ошибок Е в сторону, противоположную градиенту функции ошибки . (см. раздел 2.6.1.) Корректировка веса w_i,j осуществляется согласно формуле

(4.7),

где w_ij –вес синапса,

k – номер цикла обучения.

Такой метод обучения позволяет итерационно находить минимум функции ошибки. Однако, будет это глобальный минимум или локальный сказать трудно. При большой величине скорости обучения некоторые локальные минимумы малой ширины могут быть преодолены. Локальные же минимумы большой ширины становятся непреодолимыми. (См. Рис.26)

Рис. 26. Поиск минимума функции ошибки методом обратного распространения.

Для решения этой проблемы при выполнении настоящей работы используется метод градиентного спуска с возмущение, позволяющий преодолевать локальные минимумы: Корректировка весов синапсов осуществляется согласно формуле

(4.8), (4.9)

где w_ij –вес синапса,

k – номер цикла обучения,

m – инерционный параметр.

Такое изменение придает движению по поверхности функции ошибки инерционный характер (См. Рис 27) и позволяет преодолевать значительные локальные минимумы. Чем больше параметр m, тем выше инерционность.

Рис. 27. Поиск минимума функции ошибки методом градиентного спуска с возмущением.

Данная надстройка над методом обратного распространения ошибки реализована в ПО «Искусственные Нейронные Сети 1.1.».

При решении задачи моделирования аэродинамических характеристик НВ принято m = 0.9.