КОНСПЕКТ ЛЕКЦИЙ КОДЭИ

Графически преобразование данных искусственным нейроном можно проиллюстрировать следующим образом.

По горизонтальной оси графика откладывается результат взвешенного суммирования входных значений нейрона, а по вертикальной — его выходное значение. Оно полностью определяется видом активационной функции. На рисунке представлена так называемая логистическая активационная функция с насыщением или сигмоида. При увеличении S происходит ограничение выходного значения нейрона между 0 и 1. Если S изменяется вблизи 0, то выход нейрона меняется существенно, а область изменения определяется крутизной активационной функции. При уходе S в область насыщения выходное значение нейрона у стремится к 0 или 1.

Активационная функция нейрона

30

Активационная функция нейрона

Тождественная активационная функция — выход нейрона в точности равен входу y = S. Нейрон распространяет неизменный входной сигнал на все нейроны следующего слоя.

Экспоненциальная активационная функция y = exp(a*S).

Синусоидальная активационная функция y = sin(S).

Радиальные базисные функции

Архитектуры нейронных сетей

Функциональные возможности нейронной сети возрастают с увеличением числа нейронов и связей между ними. Чем больше связей, тем больше количество весов, настраиваемых в процессе обучения нейронной сети. При увеличении числа весовых коэффициентов возрастает число возможных состояний нейросетевой модели, а значит, и количество возможных функциональных преобразований. Однако усложнение модели неизбежно приводит к росту вычислительных затрат, связанных с ее обучением и работой. Кроме того, уровень сложности задач Data Mining не требует применения нейронных сетей с большим числом связей.

Принципы функционирования многослойного персептрона

Рассмотрим сначала несложную конфигурацию многослойного персептрона, содержащую один скрытый слой.

Нейроны выходного слоя обрабатывают данные и выполняют вывод результата. Обозначим каждую связь внутри сети как wkij, где i — номер нейрона входного слоя, с выхода которого выходит связь; j — номер нейрона выходного слоя, на вход которого поступает связь (полагаем, что нейроны в слоях нумеруются сверху вниз). Индекс k указывает на слой сети, к которому относится данная связь. Например, w(1)11 — это первая связь первого нейрона первого слоя сети.

При подаче на вход вектора X = (х1 х2... хп)т сеть сформирует на выходе двухкомпонентный вектор

Y = (у1; у2), значения элементов которого вычисляются по формуле:

где f — активационная функция нейрона.

Пример