Нейронная сеть
Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. Выходы одного нейрона соединяются со входами других нейронов.
В зависимости от топологии нейронные сети подразделяются на:
одно- и многоуровневые (рис. 6, рис. 7);
с обратными связями и без них.
Рисунок 6 – Структура однослойной сети прямого распространения
Таблица 1
Функции активации нейронов
Рисунок 7 – Обобщенная структура двухслойной нейронной сети (с одним скрытым слоем)
Связи между слоями могут иметь различную структуру.
В однолинейный сетях каждый нейрон нижнего слоя связан с одним нейроном верхнего слоя.
Если каждый нейрон нижнего слоя соединен с несколькими нейронами верхнего слоя, то получается пирамидоидальная сеть.
Воронкообразная схема предусматривает связь каждого узла верхнего слоя со всеми узлами нижнего уровня.
Чтобы решить конкретную задачу с помощью нейронной сети, нужно выбрать нужный тип соединений нейронов, определить вид передаточных функций элементов и подобрать весовые коэффициенты межнейронных связей.
Модели нейронных сетей Классификация нейронных сетей
В классификации нейронные сети по характеру обучения делится на:
нейронные сети, использующие обучение с учителем;
нейронные сети, использующие обучение без учителя.
Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором. Далее веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемого уровня.
Рисунок 8 – Классификация нейронных сетей
Обучение без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Развитая Кохоненом и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы.
По настройке весов различаются:
сети с фиксированными связями – весовые коэффициенты нейронной сети выбираются сразу, исходя из условий задачи;
сети с динамическими связями – для них в процессе обучения происходит настройка синаптических весов.
Среди возможных типов входной информации выделяется:
аналоговая – входная информация представлена в форме действительных чисел;
двоичная – вся входная информация в таких сетях представляется в виде нулей и единиц.
В сетях прямого распространения все связи направлены строго от входных нейронов к выходным. К таким сетям относятся, например: простейший персептрон (разработанный Розенблаттом) и многослойный персептрон.
В реккурентных нейронных сетях – сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя.
Радиально базисные функции представляются как вид нейронной сети, имеющий скрытый слой из радиальных элементов и выходной слой из линейных элементов. Сети этого типа довольно компактны и быстро обучаются. Предложены в работах Broomhead and Lowe (1988) и Moody and Darkin (1989). Радиально базисная сеть обладает следующими особенностями: один скрытый слой, только нейроны скрытого слоя имеют нелинейную активационную функцию и синаптические веса входного и скрытого слоев равны единицы.
Самоорганизующиеся карты или сети Кохонена – такой класс сетей, как правило, обучается без учителя и успешно применяется в задачах распознавания. Сети такого класса способны выявлять новизну во входных данных: если после обучения сеть встретится с набором данных, непохожим ни на один из известных образцов, то она не сможет классифицировать такой набор и тем самым выявит его новизну. Сеть Кохонена имеет всего два слоя: входной и выходной, составленный из радиальных элементов.