Основы построения алгоритмов обучения нейросетей

Общая идея применения нейронных сетей, использующих обучение, осно­вана на запоминании сетью предъявленных ей примеров и выработке реше­ний, согласованных с этими примерами.

Практическая реализация этих положений подразумевает, во-первых, ми­нимизацию объема памяти, требуемой для запоминания примеров, и, во-вто­рых, быстрое использование запомненных примеров, исключающее примене­ние традиционных памятей с произвольной или последовательной выборками.

В нейронных сетях принято следующее представление решаемых задач. Каждому входному параметру х_i, i=l,...,n, задачи сопоставляется измерение i многомерного пространства, размерность которого равна числу n параметров. Для каждого параметра используется некоторая шкала, задающая возможные значения этого параметра. Тем самым постановка задач сводится к определе­нию свойств точек x_ji={x_j1, x_j2..., x_jn} n-мерного пространства, где х_ji- значение входного параметра i точки j, при известных свойствах точек, принадлежащих примерам, использованным при обучении.

Организация функционирования нейросети

В ходе функционирования сеть относит предъявленный на ее входы набор значений к той или иной области, что и является искомым результатом. Заме­тим, что предъявляемый сети набор входных значений мог не подаваться на входы сети при обучении. Но в силу сформированных посредством других на­боров входных значений совокупности областей этот набор попадет в одну из них. Если результат правильный, то имеет место правильно функционирую­щая сеть, иначе сеть обучена или сконструирована с ошибкой. Поэтому смысл процедуры обучения или конструирования - отделение множеств точек, каж­дой области без включения посторонних точек и потери своих.

Алгоритмы обучения многоуровневых персептронных сетей

Большинство алгоритмов обучения использует эвристические приемы фор­мирования графов сетей и весов ребер. При использовании многоуровневых нейронных сетей обучение начинается с выбора начальной сети с задаваемым в постановке задачи числом входов и выходов и эвристически выбираемом графе нейронной сети, связывающей входы с выходами. Например, в [39] рекоменду­ется взять трехслойную сеть с числом нейронов внутреннего слоя, равным полу­сумме числа входов и выходов сети. Каждый нейрон внутреннего слоя должен быть связан с выходами всех входных нейронов сети. Каждый выходной нейрон должен быть связан с выходами всех нейронов внутреннего слоя.

Далее предпринимается попытка подобрать веса входов нейронов сети так, чтобы сеть решала поставленную задачу. Если это не удается для выбранного графа сети, то по некоторой эвристике, например, с использованием генетических алгоритмов [41], перебираются графы сетей, и предпринимается попытки обучения. Этот процесс продолжается до получения устраивающего результата.

Практически важным алгоритмом определения весов сети при наблюдаемом обучении нейронных сетей, для которого доказана сходимость процесса, является алгоритм обратного распространения [37-39]. При обучении сигнал ошибки распространяется обратно по сети. Производится коррекция весов входов нейронов, предотвращающая повторное появление этой ошибки. В одноуровневых сетях коррекция выполняется достаточно просто. Одноуровневая сеть - состоит из одного нейрона с весами w_i, i = 1,..., n, и порогом u.

Розенблаттом был предложен следующий сходящийся алгоритм настрой весов. Пусть имеется обучающий набор примеров ^и

<X₁, D> = <(x_n,...,x_ln), D₁> ,

<X₂, D₂> = <(x₂₁, ...,x_2n),D₂>,

……………………………..

<X_m, D_m> = <(x_m1, ...,x_mn),D_m>

X_j = (x_j1, .. .,x_jn) - входные значения j-го примера, a D_j - выходное значение этого примера. Считается, что нейрон правильно обучен, если для всех j max|Dj-Yj| ≤ б, где б - заданная величина ошибки, Yj – выходной сигнал примера.

Собственно алгоритм состоит в следующем.

1. Присвоить весам и порогу нейрона случайные малые значения.

2. Начиная с первого примера, подать на входы нейрона очередной пример <Х_j, D_j > и определить значение выхода нейрона Yj, j=l, ..., m.

3. Изменить веса согласно выражению w_i(t+1) = w_i(t) + a(D_j-Y_j)x_i, i= 1,2,..., n, a - коэффициент, 0<a< 1.

4. Производить шаги 2-4 до тех пор, пока ошибка на всех обучающих при­мерах будет превышать наперед заданного значения б.

П Р И М Е Р

Программное обеспечение с компонентами DSS

ГИС в экономике

Общие сведения о геоинформационных системах (файл ГИС)

Сферы и уровни использования ГИС (файл ГИС)

Перспективы развития ГИС (файл ГИС)

ГИС в управлении (файл ГИС)

Геомаркетинг