Билет № 15

1. Проектирование и обучение персептронов

Итак, при проектировании персептронов существует пробле­ма выбора необходимого числа нейронов. Число нейронов вход­ного слоя персептрона должно совпадать с размерностью вектора входных параметров X, который определен условиями решаемой задачи. Число нейронов выходного слоя должно совпадать с раз­мерностью выходного вектора Y, что также определено условия­ми задачи. Число скрытых слоев персептрона согласно теоремам Арнольда—Колмогорова—Хехт-Нильсена должно быть не менее одного. Число нейронов в скрытых слоях может быть приближен­но оценено по формулам ,

однако его желательно оптимизировать для каждой конкретной задачи.

Существуют два способа оптимизации числа нейронов в скрытых слоях — деструктивный и конструктивный. Деструктивный способ заключается в том, что первоначально строится сеть с заведомо избыточным числом степеней свободы, а затем в процессе обучения из нее постепенно исключаются лишние синаптические связи и нейроны.

Существует довольно большое многообразие алгоритмов исключения избыточных степеней свободы нейросети. Наиболее простой из них состоит в обнулении тех синаптических весов, которые в процессе обучения нейросети стали значительно меньше их среднего значения. Однако малые значения синаптических весов не обязательно оказывают наименьшее воздействие на поведение нейронов и сети в целом. Поэтому более удачными признаются способы редукции сети, учитывающие ее чувствительность к структурным и параметрическим вариациям.

Общим недостатком деструктивных алгоритмов является значительная длительность их работы, поскольку первоначальные вычисления производятся в сетях, имеющих избыточное количество нейронов. Этого недостатка лишены альтернативные конструктивные алгоритмы, которые предполагают постепенное добавление нейронов к сети, в которой их заведомо недостаточно. Новые нейроны добавляются каждый раз после определенного числа эпох обучения, а синаптическим весам и порогам новых нейронов присваиваются случайные числа. Поэтому после каждого добавления нового нейрона текущая погрешность обобщения нейросети резко увеличивается, но после нескольких эпох обучения становится меньше той, которая была до добавления нейрона.

2. Отсечение и откат в Прологе

Отсечение - это специальный механизм ПРОЛОГа использование которого позволяет указать, какие из ранее сделанных выборов не следует пересматривать при возврате по цепочке согласованных целевых утверждений. Отсечение используется для повышения эффективности программ

как по времени (не тратится время на попытки найти новые сопоставления для целей, для которых заранее известно, что они не внесут в решение ничего продуктивного), так и по памяти (нет

необходимости хранить маркеры точек возврата). Часто отсечение является необходимым элементом программы - без него она правильно не работает.

max2(X,Y,X):-

X>Y,!./* если первое число больше второго,

то первое число - максимум */

max2(_,Y,Y). /* в противном случае максимумом будет

второе число */

Откат - это механизм, который Пролог использует для нахождения дополнительных фактов и правил, необходимых при вычислении цели, если текущая попытка вычислить цель оказалась неудачной. Пролог использует откат для того, чтобы попробовать новые пути к решению. Пролог использует всю доступную информацию для выбора подходящего направления.