21. Сети на основе радиально-базисных функций. Обучение без учителя в нейросетевом распознавании образов.

Сеть на основе радиально-базисной функции (radial basis function, RBF) — это программная система, способная классифицировать данные и делать предсказания. RBF-сети имеют определенное поверхностное сходство с нейронными сетями, но на самом деле они довольно сильно отличаются. RBF-сеть принимает одно или более числовых входных значений и генерирует одно или более числовых выходных значений. Выходные значения определяются входными, а также набором параметров, называемых RBF-центроидами (centroids) (или центрами масс), набором RBF-интервалов по ширине (widths), набором весовых значений (weights) и набором смещений (biases).

Сеть радиальных базисных функций - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону (обычно функция Гаусса). В данной статье мы рассмотрим применение этой нейронной сети к решению задачи классификации с помощью восстановления смесей распределений (частный случай ЕМ-алгоритма).

Обучение радиальной сети

Процесс обучения радиальной сети распадается на два этапа:

-подбор параметров радиальной функции fi для каждого радиального нейрона (в случае функции Гаусса это центр Ci и параметр ширины si);

-подбор весов выходного слоя нейронов.

При этом второй этап значительно проще первого, поскольку сводится к вычислению выражения W=G+*D, где основные вычислительные затраты - расчет псевдоинверсии матрицы Грина G.

Задача отыскания параметров радиальных функций Гаусса для всех нейронов первого слоя в свою очередь распадается на две подзадачи:

-определение центров Ci;

-расчет параметров ширины si.

Понятно, что основными требованиями к расположению центров Ci в области определения входных данных X являются:

-полнота покрытия области определения;

-равномерность распределения.

Именно этим требованиям отвечает решение по кластеризации данных, даваемое ИНС с самоорганизацией на основе конкуренции. Следовательно, алгоритмы обучения, используемые в этих сетях для отыскания усредненных векторов в кластерах данных, непосредственно применимы и в радиальных сетях для отыскания центров радиальных функций.

После определения местоположения всех центров радиальных функций Ci производится подбор параметров si, определяющих величину области охвата, в которой значение радиальной функции превышает пороговое значение e. Такой подбор должен обеспечить, с одной стороны, покрытие всего пространства входных данных и, с другой стороны, незначительность перекрытия соседних зон.

Проще всего в качестве значения si принять эвклидово расстояние от центра Ci до ближайшего соседа. Можно учитывать более широкое соседство, используя формулу

si=sqrt((1/L)*sum[j=1:L](|Cj-Ci|22)),

где L - количество ближайших соседей центра Ci (обычно L=3...5).

Гибридный алгоритм обучения

Гибридный алгоритм обучения радиальной сети реализуется чередованием пары шагов:

-отыскание коэффициентов выходного (линейного) слоя;

-адаптация нелинейных параметров радиальных функций всех нейронов первого слоя сети.

Перед началом обучения выбираются начальные значения центров и параметров ширины радиальных функций всех нейронов входного слоя.

Обучение без учителя (англ. Unsupervised learning, самообучение, спонтанное обучение) — один из способов машинного обучения, при решении которых испытуемая система спонтанно обучается выполнять поставленную задачу, без вмешательства со стороны экспериментатора. С точки зрения кибернетики, является одним из видов кибернетического эксперимента. Как правило, это пригодно только для задач, в которых известны описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами.

Для построения теории и отхода от кибернетического эксперимента в различных теориях эксперимент с обучением без учителя пытаются формализовать математически. Существует много различных подвидов постановки и определения данной формализации. Одна из которых отражена в теории распознавания образов.

Такой отход от эксперимента и построение теории связаны с различным мнением специалистов во взглядах. Различия, в частности, заключаются при ответе на вопрос: «Возможны ли единые принципы адекватного описания образов различной природы, или же такое описание каждый раз есть задача для специалистов конкретных знаний?».

В первом случае постановка должна быть нацелена на выявление общих принципов использования априорной информации при составлении адекватного описания образов. Важно, что здесь априорные сведения об образах различной природы разные, а принцип их учета один и тот же. Во втором случае проблема получения описания выносится за рамки общей постановки, и теория обучения машин распознаванию образов с точки зрения статистической теории обучения распознаванию образов может быть сведена к проблеме минимизации среднего риска в специальном классе решающих правил.

В теории распознавания образов различают в основном три подхода к данной проблеме:

Эвристические методы;

Математические методы;

Лингвистические (синтаксические) методы.