Эвристические методы

К эвристическим методам относят улучшения существующих алгоритмов, не имеющие строгого теоретического обоснования эффективности, но дающие на практике хорошие результаты. В основе таких методов лежат знания авторов о работе нейронных сетей в целом.

Один из известных эвристических методов - метод Quickprop С. Фальмана, предотвращает зацикливание обучения нейрона в месте близости к локальному минимуму, где градиент стремится к нулю. Он использует усовершенствованные формулы изменения весов, отталкиваясь от основной идеи алгоритма наискорейшего спуска.

Также известен алгоритм RPROP М. Ридмиллера и Х. Брауна. Его идея в использовании только знака градиента, без его значения. Коэффициент обучения подбирается на каждом шаге. Он увеличивается, если градиент сохраняет знак, и уменьшается, если знак меняется. Этот метод хорошо работает при небольшом угле наклона целевой функции.

Методы обучения без учителя Обучение на основе корреляции

Распространенным методом обучения сетей на основе корреляции являются обобщенные правила Хебба.

Основная формула изменения весов в корреляционной сети выглядит следующим образом:

Здесь

Y_i, X_j – константы

y_i – выходной сигнал нейрона i

x_j – сигнал нейрона j, поступающий в нейрон i

q – скорость обучения

Обучение сети стремится к минимизации энергетической функции сети, состоящей из двух компонент: вариации нейронов (E_v) и штрафной компоненты (E_k).

Для нейрона j энергетическая функция имеет вид:

Здесь

w_ij – вес синаптической связи, идущей от нейрона i к нейрону j

C_ik – усредненная ковариация активности нейронов i и k

K₁, K₂ – константы

Таким образом, когда обучение ведет к минимизации энергетической функции, организация сети будет соответствовать максимуму вариации активности нейронов при ограничении значений их весов. Причем имеется в виду локальный максимум, то есть существует несколько возможных комбинаций весов сети, получающихся в результате обучения.

Сети pca

PCA (Principal Component Analysis, анализ главных компонентов) – нейронные сети с самоорганизацией на основе корреляции. Этот метод применяется для задачи уменьшения размерности пространства: нейронная сеть описывает преобразование , где .

W состоит из K ортогональных векторов. Они выбираются из N собственных векторов матрицы автокорреляции входных векторов x, имеющих максимальные соответствующие им собственные значения.

Требованием при подборе значений W является минимизация погрешности реконструкции: , где x – исходный вектор в пространстве R^N, а x̂ – восстановленный вектор. Поскольку для преобразования используются K собственных векторов с максимальными собственными значениями, погрешность можно выразить через собственные значения оставшихся N-K собственных векторов: , где λ_i – собственные значения матрицы корреляции. Можно привести минимизацию погрешности к максимизации вариации проекции: , где λ_i – собственные значения, соответствующие главным (использующимся при реконструкции x) собственным векторам.

От набора главных векторов зависит точность реконструкции данных. Наибольший из главных компонентов (вектор w₁, сопряженный со значением λ₁) соответствует направлению максимальной вариации данных и несет большую часть информации. Нейрон в сети соответствует компоненте разложения; входными данными являются векторы x, выходными – векторы y. Таким образом сеть состоит из одного слоя из K нейронов, у каждого из которых N входных связей.

Рис. 1.4 Нейронная сеть PCA

Веса сети на итерации k изменяются по формуле:

Здесь

q – скорость обучения;

w_ij – вес связи входа i с нейроном j;

x_j – входное значение j (координата входного вектора x);

y_i – выходной сигнал нейрона i.

Процесс обучения последовательный, для каждого следующего нейрона используются посчитанные ранее выходные сигналы предшествующих нейронов (в начале считается главный компонент PCA, потом второй, с использованием значения первого, и так далее до наименьшего).