13. Нейрон индикатор – правило обучения Ойя.

Рис. Сжатие информации линейным нейроном

В простейшей постановке нейрон с одним выходом и d входами обучается на наборе d-мерных данных . Можно упростить рассмотрение, ограничившись линейной функцией активации. Выход такого нейрона является линейной комбинацией его входов:

Амплитуда этого выхода после соответствующего обучения (т. е. выбора весов по набору примеров ) может служить индикатором того, насколько данный вход соответствует обучающей выборке. Иными словами, нейрон может стать индикатором принадлежности входной информации к заданной группе примеров.

Обучение по Хеббу приводит к неограниченному возрастанию амплитуды весов. От этого недостатка, однако, можно довольно просто избавиться, добавив член, препятствующий возрастанию весов. Ойя модифицировал правило Хебба таким образом, чтобы без процесса перенормировки обучения вектор весов самостоятельно стремился к .

Т.о. сигнал модифицируется обратным сигналом, связанным с выходным сигналом нейрона у.

Правило обучения Ойя максимизирует чувствительность выхода нейрона при ограниченной амплитуде весов. При обучении по правилу Ойя, вектор весов нейрона располагается на гипер-сфере в направлении, максимизирующем проекцию входных векторов.

Отметим, что это правило обучения по существу эквивалентно дельта-правилу, только обращенному назад - от входов к выходам (т. е. при замене ). Нейрон как бы старается воспроизвести значения своих входов по заданному выходу. Тем самым, такое обучение стремится максимально повысить чувствительность единственного выхода-индикатора к многомерной входной информации, являя собой пример оптимального сжатия информации.

14. Соревновательное обучение нейронов – кластеризация.

В Хеббовском и производных от него алгоритмах обучения активность выходных нейронов стремится быть по возможности более независимой друг от друга. Напротив, в соревновательном обучении выходы сети максимально скоррелированы: при любом значении входа активность всех нейронов, кроме т.н. нейрона-победителя одинакова и равна нулю. Такой режим функционирования сети называется победитель забирает все.

Нейрон-победитель (с индексом ), свой для каждого входного вектора, будет служить прототипом этого вектора. Поэтому победитель выбирается так, что его вектор весов , определенный в том же d-мерном пространстве, находится ближе к данному входному вектору , чем у всех остальных нейронов: для всех i. Если применять правила обучения нейронов, обеспечивающие одинаковую нормировку всех весов, например, , то победителем окажется нейрон, дающий наибольший отклик на данный входной стимул: для любого х. Выход такого нейрона усиливается до единичного, а остальных - подавляется до нуля.

Количество нейронов в соревновательном слое определяет максимальное разнообразие выходов и выбирается в соответствии с требуемой степенью детализации входной информации. Обученная сеть может затем классифицировать входы: нейрон-победитель определяет, к какому классу относится данный входной вектор.

В отличие от обучения с учителем, самообучение не предполагает априорного задания структуры классов. Входные векторы должны быть разбиты по категориям (кластерам) согласуясь с внутренними закономерностями самих данных. В этом и состоит задача обучения соревновательного слоя нейронов.

Соревновательное обучение минимизирует квадратичное отклонение входных векторов от их прототипов - весов нейронов-победителей . Иными словами, сеть осуществляет кластеризацию данных: находит такие усредненные прототипы, которые минимизируют ошибку огрубления данных. Недостаток такого варианта кластеризации очевиден - "навязывание" количества кластеров, равного числу нейронов. В идеале сеть сама должна находить число кластеров, соответствующее реальной кластеризации векторов в обучающей выборке. Адаптивный подбор числа нейронов осуществляют несколько более сложные алгоритмы, такие, например, как растущий нейронный газ.

Идея последнего подхода состоит в последовательном увеличении числа нейронов-прототипов путем их "деления". Общую ошибку сети можно записать как сумму индивидуальных ошибок каждого нейрона: .

Естественно предположить, что наибольшую ошибку будут иметь нейроны, окруженные слишком большим числом примеров и/или имеющие слишком большую ячейку. Такие нейроны и являются, в первую очередь, кандидатами на "почкование".