Интересно знать Альтернативный метод моделирования – искусственные нейронне сети

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Искусственные нейронные сети — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования сетей нервных клеток живого организма. Актуальность исследований в этом направлении подтверждается массой различных применений нейронных сетей. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту.

Широкий круг задач, решаемый нейронными сетями, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные сети, функционирующие по различным алгоритмам. Тем не менее, тенденции развития нейронных сетей растут с каждым годом.

Искусственные нейронные сети (НС) являются являються альтернативным методом моделирования и математическим аналогом биологических нейронов мозга. НС можно рассматривать как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. Эти модели различаются по строению отдельных нейронов, по топологии связей между ними и по алгоритмам обучения

Одной из первых задач, решаемых с помощью нейронных сетей, было распознавание образов на графических изображениях. С тех пор было предложено достаточно много совершенно новых решений, были усовершенствованы многие известные решения и алгоритмы.

Одной из интересных задач распознавания является распознавание лиц. Решение этой задачи стало вычислительно возможным буквально в последние несколько лет. В конце 2011-го года фирмы Microsoft, Google и Apple анонсировали свои системы распознавания лиц. Благодаря этому стало возможным найти человека на Facebook или в Skype по его фотографии. Некоторые компании анонсировали ноутбуки, определяющие с помощью веб-камеры человека, работающего за ним. Производители утверждают, что система сможет распознать человека, даже если он снимет или наденет очки, сменит причёску. Это говорит о просто невероятных прорывах в области распознавания лиц.

Для реализации указанного была использована технология MFC с некоторыми дополнительными библиотеками упрощающими создание пользовательского интерфейса. Для реализации самой нейронной сети и связанных с ней классов использовался C++ в чистом виде без каких-либо дополнительных средств.

Приложение.

Реализованное приложение не является инструментом для конечного пользователя. В первую очередь оно создано для визуализации работы нейронной сети и её исследования.

Приложение позволяет:

-использовать различные нейронные сети для распознавания;

-указывать различные параметры обучения;

-сохранять и загружать обученные нейронные сети в файл;

-тестировать сеть сразу на большом количестве образов.

В приложении были реализованы следующие нейросетевые методы:

-однослойный персептрон с пороговой функцией;

-многослойный персептрон;

-свёрточная сеть без субдискретизирующих слоёв;

-упрощённый неокогнитрон небольшого размера.

Для ускорения работы нейронной сети было использовано распараллеливание с помощью потоков Windows и вычисление активационной функции нейронов по приближённому алгоритму на ассемблере.

Для обучения нейронных сетей был использован широко известный алгоритм обратного распространения ошибки. Для увеличения скорости и эффективности обучения был использован Гессиан.

Результаты исследования

Реализованные нейронные сети были протестированы на базе данных рукописных цифр MNIST, предназначенной специально для обучения и тестирования нейронных сетей и на наборе изображений человеческих лиц.

База рукописных цифр содержит 70000 изображений. В связи с тем, что обучающая выборка в базе данных MNIST подобрана лучше и задача распознавания цифр проще, чем задача распознавания лиц, все рассмотренные нейронные сети проявили наиболее высокую эффективность в распознавании цифр.

Свёрточные нейронные сети и неокогнитрон показали способность распознавать образы инвариантно их позиции и размера на изображении, однако, обучение нейронной сети заняло существенно большее время, и общая эффективность распознавания образов снизилась.

Набор изображений человеческих лиц содержит 400 изображений: 40 лиц, 10 изображений каждого лица. Проведено несколько экспериментов обучения тестирования нейронных сетей. В каждом эксперименте изображения, на которых нейронные сети обучалась и на которых нейронные сети тестировались, выбирались различным образом. Наиболее высокую эффективность показали свёрточные нейронные сети: 12.5% -1.5% ошибок в различных экспериментах. Большой разброс значений свидетельствует о важности подготовки обучающей выборки и о том, что набор изображений человеческих лиц не был подготовлен должным образом.