1.3. Нейронные сети

Этот раздел написан по материалам работ [8,12,60]. С дополнительными сведениями по нейронным сетям можно познакомиться в работах [1,4,19,65, 76,78,79,82].

1.3.1. Основные понятия

Проблема машинной имитации человеческих мыслей воодушевляет ученых уже несколько столетий. Более 50 лет назад были созданы первые электронные модели нервных клеток. Кроме того, появлялись много работ по новым математическим моделям и обучающим алгоритмам. Сегодня так называемые нейронные сетипредставляют наибольший интерес в этой области. Они используют множество простых вычислительных элементов, называемых нейронами, каждый из которых имитирует поведение отдельной клетки человеческого мозга. Принято считать, что человеческий мозг - это естественная нейронная сеть, а модель мозга - это просто нейронная сеть. На рис. 1.9 показана базовая структура такой нейронной сети.

Рис. 1.9. Базовая структура нейронной сети

Каждый нейрон в нейронной сети осуществляет преобразование входных сигналов в выходной сигнал и связан с другими нейронами. Входные нейроны формируют так называемый интерфейс нейронной сети. Нейронная сеть, показанная на рис. 1.9, имеет слой, принимающий входные сигналы, и слой, генерирующий выходные сигналы. Информация вводится в нейронную сеть через входной слой. Все слои нейронной сети обрабатывают эти сигналы до тех пор, пока они не достигнут выходного слоя.

Задача нейронной сети - преобразование информации требуемым образом. Для этого сеть предварительно обучается. При обучении используются идеальные (эталонные) значения пар <входы-выходы> или <учитель>, который оценивает поведение нейронной сети. Для обучения используется так называемый обучающий алгоритм. Ненастроенная нейронная сеть не способна отображать желаемого поведения. Обучающий алгоритм модифицирует отдельные нейроны сети и веса ее связей таким образом, чтобы поведение сети соответствовало желаемому поведению.

1.3.2. Имитация нервных клеток

Исследователи в области нейронных сетей проанализировали множество моделей клеток человеческого мозга. Далее будут рассмотрены лишь те из них, которые наиболее часто используются в промышленных применениях.

Человеческий мозг состоит из более чем 10¹¹ нервных клеток, имеющих более 10¹⁴ взаимосвязей. На рис. 1.10 показана упрощенная схема такого человеческого нейрона. Сама по себе клетка состоит из ядра и внешней электромембраны. Каждый нейрон имеет уровень активации, лежащий в диапазоне между максимумом и минимумом, следовательно, в отличие от булевой логики, существует более чем два уровня активации.

Для увеличения или уменьшения активности данного нейрона другими нейронами существуют так называемые синапсы. Они переносят величину активности от нейрона-отправителя к нейрону-получателю. Если синапс является возбуждающим, то величина активности нейрона-отправителя увеличивает активность нейрона-получателя. Если синапс является тормозящим, то величина активности нейрона-отправителя уменьшает активность нейрона-получателя. Синапсы различаются не только по признаку торможения или возбуждения нейрона-получателя, но также и по суммарному воздействию (синаптическая мощность). Выходной сигнал каждого нейрона передается по так называемому аксону, который заканчивается более чем 10000 синапсами, влияющими на другие нейроны.

Рассмотренная модель нейрона лежит в основе большинства сегодняшних применений нейронной сети. Отметим , что данная модель является лишь очень грубым приближением действительности. На самом деле мы не можем смоделировать даже один единственный человеческий нейрон; это выше человеческих возможностей в моделировании. Следовательно, любая работа, базирующаяся на этой простой модели нейрона, не способна точно имитировать человеческий мозг. Однако многие успешные применения, использующие этот метод, обеспечили успех нейронным сетям, базирующимся на простой модели нейрона.

Рис. 1.10. Упрощенная схема человеческого нейрона.

1.3.3. Математическая модель нейрона

Множество математических моделей нейрона может быть построено на базе простой концепции строения нейрона. На рис. 1.11 показана наиболее общая схема. Так называемая суммирующая функция объединяет все входные сигналы  , которые поступают от нейронов-отправителей. Значением такого объединения является взвешенная сумма, где веса   представляют собой синаптические мощности. Возбуждающие синапсы имеют положительные веса, а тормозящие синапсы - отрицательные веса. Для выражения нижнего уровня активации нейрона к взвешенной сумме прибавляется компенсация (смещение) Q.

Рис. 1.11. Простая математическая модель нейрона.

Так называемая функция активации рассчитывает выходной сигнал нейрона Y по уровню активности f. Функция активации обычно является сигмоидной, как показано в правой нижней рамке на рис.1.11. Другими возможными видами функций активации являются линейная и радиально-симметричная функции, показанные на рис.1.12.

                            а)                                                                       б)

Рис. 1.12. Функции активации нейронов:

(а) линейная, (б) радиально-симметрическая