- •Интеллектуальные средства измерений
- •Часть I Нейрокомпьютерные сети
- •1 Теоретические основы нейронных сетей
- •1.1 Обзор основных свойств и функций нейронных сетей
- •1.1.1 Свойства искусственных нейронных сетей
- •1.1.2 Обучение нейронных сетей
- •1.1.3 Обобщение
- •1.1.4 Абстрагирование
- •1.2 Терминология, обозначения и схематическое изображение искусственных нейронных сетей
- •1.3 Структура нейроных сетей
- •1.1.5 Применимость
- •1.4 Обучение искусственных нейронных сетей
- •1.4.1 Обзор основных свойств обучения
- •1.4.1.1 Цель обучения
- •1.4.1.2 Обучение с учителем
- •1.4.1.3 Обучение без учителя
- •1.4.1.4 Алгоритмы обучения
- •1.4.2 Процедура обратного распространения
- •1.4.2.1 Сетевые конфигурации
- •1.4.2.2 Многослойная сеть
- •1.4.2.3 Проход вперед
- •1.4.2.4 Обратный проход. Подстройка весов выходного слоя
- •1.4.2.5 Подстройка весов скрытого слоя
- •1.4.2.6 Добавление нейронного смещения
- •1.4.2.7 Импульс
- •1.4.2.8 Паралич сети
- •1.4.2.9 Локальные минимумы
- •1.4.2.10 Размер шага
- •1.4.2.11 Временная неустойчивость
- •1.4.3 Сети встречного распространения
- •1.4.3.1 Структура сети
- •1.4.3.2 Нормальное функционирование
- •1.4.3.2.1 Слои Кохоненна
- •1.4.3.2.2 Слой Гроссберга
- •1.4.3.3 Обучение слоя Кохонена
- •1.4.3.3.1 Предварительная обработка входных векторов
- •1.4.3.3.2 Выбор начальных значений весовых векторов
- •1.4.3.3.3 Режим интерполяции
- •1.4.3.3.4 Статистические свойства обученной сети
- •1.4.3.3 Обучение слоя Гроссберга
- •1.4.3.4 Сеть встречного распространения полностью
- •1.4.4 Стохастические методы
- •1.4.4.1 Использование обучения
- •1.4.4.2 Больцмановское обучение
- •1.4.5 Сети Хопфилда
- •1.4.5.1 Бинарные системы
- •1.4.5.2 Устойчивость
- •1.4.5.3 Ассоциативная память
- •1.4.5.4 Обобщенные сети
1 Теоретические основы нейронных сетей
1.1 Обзор основных свойств и функций нейронных сетей
1.1.1 Свойства искусственных нейронных сетей
Как уже отмечалось, искусственные нейронные сети индуцированы биологией, по этой причине они состоят из элементов, функциональные возможности которых возможно аналогичны большинству элементарных функций биологического нейрона. Эти элементы затем организуются по способу, который может соответствовать анатомии мозга. Несмотря на такое поверхностное сходство, искусственные нейронные сети демонстрируют способности, присущие мозгу. В частности, они способны обучаться на основе опыта, обобщать предыдущие прецеденты на новые случаи и извлекать существенные свойства из поступающей информации, содержащей излишние данные.
Несмотря на такое функциональное сходство, скорее всего искусственные нейронные сети ещё не скоро будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя. Однако, как бы они ни были ограничены возможности искусственных нейронных сетей сегодня, глубокое проникновение в человеческий интеллект, а также множество революционных приложений, могут быть не за горами. В частности, ведутся многочисленные разработки в области создания интеллектуальных саморазвивающихся искусственных систем, способных адаптироваться и развиваться в новых условиях «существования».
1.1.2 Обучение нейронных сетей
Искусственные нейронные сети могут менять свое поведение в зависимости от свойств внешней среды. Этот фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления эталонных входных сигналов, возможно, вместе с требуемыми желаемыми выходами, они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами. Смысл большинства из них заключается в том, что внутренняя структура сети изменяется в сторону, обратную соответствующей возникающей ошибки на выходе сети
1.1.3 Обобщение
Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта внутренне присущая способность видеть образ сквозь шум и искажения жизненно важна для распознавания образов в реальном мире. Она позволяет преодолеть требование строгой точности, предъявляемое обычным компьютером, и открывает путь к системе, которая может иметь дело с тем несовершенным миром, в котором мы живем. Важно отметить, что искусственная нейронная сеть делает обобщения автоматически благодаря своей структуре, а не с помощью использования «человеческого интеллекта» в форме специально написанных компьютерных программ.
1.1.4 Абстрагирование
Некоторые из искусственных нейронных сетей обладают способностью извлекать сущность из входных сигналов. Например, сеть может быть обучена на последовательность искаженных версий буквы «А». После соответствующего обучения предъявление такого искаженного примера приведет к тому, что сеть породит букву совершенной формы. В некотором смысле она научится порождать то, что никогда не видела.
Эта способность извлекать идеальное из несовершенных входов ставит интересные философские вопросы. Она напоминает концепцию идеалов, выдвинутую Платоном в его «Республике». Во всяком случае способность извлекать идеальные прототипы является у людей весьма ценным качеством.