Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Записка3.doc
Скачиваний:
4
Добавлен:
01.07.2025
Размер:
5 Мб
Скачать
☆

4.3 Формирование предпроцессора и постпроцессора сети

При использовании нейросетевых технологий для решения конкретных задач, одним из обязательных требований является подготовка данных. Данные, которые подаются в ИНС, должны быть ей доступны. Это объясняется тем, что само устройство нейронных сетей накладывает ограничения на параметры, которые могут быть в нее поданы и на параметры, которые она может выдать. ИНС разных архитектур накладывают разные требования на входные и выходные данные. Так при использовании перцептрона с сигмоидальной функцией активации

(4.1)

диапазон возможного изменения выходных параметров лежит от 0 до 1. Поэтому моделирование процессов, параметры которых выходят за требуемые рамки возможно лишь при предварительной обработке данных. Однако, как показали исследования, кроме обязательного приведения данных в доступный для сети формат большое значение имеет предварительная подготовка данных, осуществляемая с точки зрения информативности параметров. Рассмотрим более подробно понятие информативности.

3.3.2.1. Информативность параметров

Под информативностью параметров понимается следующее. Допустим, что исходные данные представлены в числовой форме и после соответствующей нормировки все входные и выходные переменные отображаются в единичном кубе. Задача ИНС определить зависимости между входными и выходными параметрами. Единственным источником информации для моделирования являются примеры из обучающей выборки. Чем больше информации принесет пример – тем лучше используются имеющиеся в нашем распоряжении данные.

Рассмотрим произвольную компоненту нормированных данных: . Среднее количество информации, приносимой каждым примером , зависит от распределения значений этой компоненты  . Если эти значения сосредоточены в относительно небольшой области единичного интервала, информационное содержание такой компоненты мало. Когда все значения переменной совпадают или очень близки друг к другу, эта переменная не несет никакой информации. Напротив, если значения переменной  равномерно распределены в единичном интервале, информация такой переменной максимальна.

Общий принцип предобработки данных, таким образом состоит в максимизации информативности входов и выходов.

Рассмотрим несколько методов повышения информативности данных.

3.3.2.2. Нормирование входных и выходных данных.

В настоящей работе для моделирования аэродинамических характеристик используется многослойный перцептрон с сигмоидальной функцией активации.

Это означает, что все данные обучающей выборки и все расчетные данные должны проходить процесс нормирования, для приведения их в оптимальный диапазон значений.

Нормирование Выходов

Выходы сети с сигмоидальной функцией активации, в теории, могут находиться в диапазоне [0; 1]. Это означает, что при обучении ИНС с такой функцией активации нормирование выходных параметров и приведение к интервалу [0; 1] обязательно, а при проведении расчетов посредством ИНС необходим постпроцессор, проводящий обратное масштабирование выходов.

Однако, приведение выходных параметров в диапазон [0; 1] не эффективно, поскольку параметры, значение которых близки к 0 или к 1 практически недоступны для ИНС, ведь аргумент X сигмоидальной функции в этих случаях стремится к бесконечности. (см. Рис 22).

Рис. 22. Сигмоидальная функция

Следовательно, при обучении сети с нормированием выходов до значений интервала [0; 1], эффективность ее работы в областях, близких к 0 или 1 будет низка, Это вызовет увеличение ошибки ИНС именно в областях, близких к 0 или 1.

Как показали исследования, оптимальным интервалом нормирования выходных значений для решаемой нами задачи является интервал [0.15; 0.85] при α = 0.3 (См. Рис. 23 а, б), поскольку в этом диапазоне параметры наиболее различимы для ИНС.

Рис. 23 а. Влияние предварительной обработки выходов

Рис. 23 б. Влияние предварительной обработки выходов

На Рис. 23 приведены результаты расчетов с использованием ИНС, выходные параметры которой были нормированы в интервале [0;1], а выходные в диапазоне [0.15; 0.85]. Расчеты проводились на однослойных ИНС с 4 нейронами, прошедшие 50 миллионов циклов обучения. Для представления на одном графике результаты были приведены к одному масштабу.

Наибольшая погрешность сети с необработанными параметрами возникает вблизи 0 и 1. Как видно из графиков, приведение выходных параметров к интервалу [0.15; 0.85] улучшает результат расчетов. Среднеквадратичные погрешности сетей составили: необр = 0,0043 , обр = 0,0014.

Нормирование Входов

Входы в сеть с такой функцией активации с теоретической точки зрения могут быть какими угодно и лежать в интервале [-; +]. Однако информативность этих входов будет во многом зависеть от их реального интервала распределения, а также от коэффициента α функции активации. Так например, при α=0.3 сеть будет чувствительна к параметрам, лежащим в интервале [-10; 10]. Все остальные значения ИНС различать практически не будет. (см. Рис 22) При α=1 ИНС хорошо будет различать входы, лежащие в интервале [-4; 4]. В этой ситуации у нас есть два возможных решения: приведение входных данных к значениям необходимого диапазона или подбор необходимого коэффициента α, при котором сеть будет чувствительна ко всем возможным входам. При первом подходе информативность входов будет выше, однако возникнет потребность в предпроцессоре, что усложняет процесс использования ИНС. При втором подходе информативность входов несколько снижается, однако отпадает потребность в предпроцессоре.

В рассматриваемой нами задаче моделирования аэродинамических характеристик НВ все входы лежат в довольно четко определенном, ограниченном интервале. Это дает возможность использовать нормализацию входов посредством коэффициента, однако для избежания потери информативности, мы будем приводить входные данные к оптимальному интервалу распределения.

На Рис 24 изображены результаты, полученные от ИНС без проведения дополнительной предобработки параметров и ИНС, параметры которой прошли предварительную подготовку для повышения информативности. (В расчетах участвовали одинаковые однослойные сети с 5 нейронами, прошедшие 30 миллионов циклов обучения)

Рис. 24. Влияние предварительной обработки входов.

Как видно, эффективность сети, параметры которой прошли предварительную обработку значительно выше. Среднеквадратичная погрешность этой ИНС составила 0.0016, в то время как погрешность ИНС, параметры которой предварительной подготовки не прошли, равна 0.004

Методика нормирования Входов/Выходов

Приведение данных к необходимому масштабу обеспечивается нормировкой каждой переменной на диапазон разброса ее значений. Существует несколько эффективных способов нормирования.

Линейное нормирование.

Все выходные параметры проходят через линейное преобразование:

(4.2)

И тем самым диапазон их распределения сводится к единичному отрезку . Входные параметры при помощи линейного преобразования приводятся не к единичному, а необходимому (в зависимости от α) отрезку.

Линейная нормировка оптимальна, когда значения переменной  равномерно распределены по интервалу своего изменения.

Нелинейное нормирование.

В случае если в данных имеются относительно редкие выбросы, намного превышающие типичный разброс, именно эти выбросы определят согласно формуле (4.2) масштаб нормировки. Это приведет к тому, что основная масса значений нормированной переменной  сосредоточится вблизи нуля или единицы. Для этих случаев существует нелинейный метод нормирования. В этом методе при нормировке ориентируются не а экстремальные значения, а на типичные, т.е. статистические характеристики данных, такие как среднее идисперсия.

 (4.3), где

(4.4),   (4.5)

В этом случае основная масса данных будет иметь единичный масштаб, т.е. типичные значения все переменных будут сравнимы. Однако, теперь нормированные величины не принадлежат гарантированно единичному интервалу, более того, максимальный разброс значений заранее не известен. Для входных данных это может быть и не важно, но выходные переменные будут использоваться в качестве эталонов для выходных нейронов. В случае, если выходные нейроны – сигмоидные, они могут принимать значения лишь в единичном диапазоне. Чтобы установить соответствие между обучающей выборкой и нейросетью в этом случае необходимо ограничить диапазон изменения переменных.

Линейное преобразование, представленное выше, не способно отнормировать основную массу данных и одновременно ограничить диапазон возможных значений этих данных. Естественный  выход из этой ситуации – использовать для предобработки данных функцию активации тех же нейронов. Нелинейное преобразование

   , (4.6)

нормирует основную массу данных, одновременно гарантируя что .

При решении поставленной перед нами задачи оптимальным способом нормирования является линейное нормирование, поскольку входные и выходные данные равномерно распределены по интервалу свого изменения.