Обучение нелокальной нейронной сети

В классических нейронных сетях обучение состоит в таком подборе весовых коэффициентов на дендритах, что минимизируется ошибка выходного сигнала сети по сравнению с эталонным. Этот вид обучения аналогичен обучению человека с уже сформированным мозгом, т.е. в достаточно зрелом возрасте, когда структура нейронной сети уже сформирована и фиксирована.

Однако в раннем возрасте и до наступления зрелости может быть основную роль играет другой вид обучения, который состоит в том, что формируется и перестраивается сама структура нейронной сети. Этот процесс включает:

– формирование новых связей между уже существующими нейронами;

– формирование новых нейронов;

– формирование связей между уже существующими и новыми нейронами;

– формирование связей между новыми нейронами;

– формирование новых нейронных систем (ансамблей) и слоев.

В классической нейронной сети обучение в каждом конкретном случае затрагивает лишь те нейроны, которые физически связаны с входными рецепторами и конкретными выходными аксонами.

В нелокальной нейронной сети могут возникать и новые связи между рецепторами и аксонами (адаптивность СИМ и ННС), а также добавляться новые рецепторы и нейроны (пересинтез СИМ и ННС).

Классические когнитивные карты

Классическая когнитивная карта представляет собой нейрон, соответствующий некоторому состоянию объекта управления с рецепторами, каждый из которых соответствует фактору в определенной степени способствующему или препятствующему переходу объекта в это состояние. Рецепторы соединены связями как с нейроном, так и друг с другом. Связи рецепторов с нейроном отражают силу и направление влияния факторов, а связи рецепторов друг с другом, отображаемые в форме семантической сети факторов, – сходство и различие между рецепторами по характеру их влияния на объект управления. Таким образом, классическая когнитивная карта представляет собой нейрон с семантической сетью факторов, изображенные на одной диаграмме (рисунок 81).

Рисунок 81. Примеры классических когнитивных карт, отражающих влияние структуры инвестиций на уровень качества жизни

Обобщенные когнитивные карты

Если объединить несколько классических когнитивных карт на одной диаграмме и изобразить на ней также связи между нейронами в форме семантической сети классов, то получим обобщенную (интегральную) когнитивную карту. На рисунке 82 приведена обобщенная когнитивная карта, отражающая результаты идентификации лет с помощью интегрального критерия уровня качества жизни, на рисунке 83 – влияние инвестиций на уровень качества жизни.

Рисунок 82. Результаты оценки лет с 1991 по 2003 с помощью интегрального критерия уровня качества жизни

Рисунок 83. Обобщенная (интегральная) когнитивная карта, визуализирующая связи 2-й степени опосредованности МСИМ между структурой инвестиций и уровнем качества жизни

Система "Эйдос" обеспечивает построение любого подмножества многоуровневой семантической информационной модели с заданными или выбираемыми по заданным критериям рецепторами и нейронами, связанными друг с другом связями любого уровня опосредованности в форме классических и обобщенных когнитивных карт. В частности, в системе полуавтоматически формируется задание на генерацию подмножеств обобщенной когнитивной карты, показанных на рисунках 84.

Рисунок 84. Примеры подмножеств интегральной когнитивной карты, отражающие влияние объемов инвестиций по конкретным отраслям на уровень качества жизни населения региона (система "Эйдос")

Резюме

Предлагается модель нелокального нейрона, являющаяся обобщением классической модели Дж. Маккалоки и У. Питтса. Суть нелокальности данной модели состоит в том, что весовые коэффициенты каждого нейрона зависят не только от нейронов, прямо или косвенно соединенных с ним синаптически, но и от всех остальных нейронов сети, не затрагиваемых при обратном распространении ошибки от данного нейрона. Предлагается новый класс нейронных сетей: "Нелокальные интерпретируемые нейронные сети прямого счета" (нелокальные нейронные сети – ННС). Организация ННС обеспечивает один из вариантов решения традиционных для нейронных сетей проблем:

– содержательной интерпретации смысла интенсивности входных сигналов и весовых коэффициентов ("проблема интерпретируемости весовых коэффициентов");

– содержательной интерпретации и обоснования аддитивности аргумента и вида активационной (передаточной) функции нейрона ("проблема интерпретируемости передаточной функции");

– "Комбинаторного взрыва" при определении структуры связей нейронов, подборе весовых коэффициентов и передаточных функций ("проблема размерности");

– "проблема линейной разделимости классов" в случае отсутствия вариабельности весовых коэффициентов нейронов, соответствующих тем или иным классам.

Математическая модель ННС основана на предложенной автором системной теории информации и семантической информационной модели автоматизированного системно-когнитивного анализа (АСК-анализ), и в отличие от известных нейронных сетей, обеспечивают автоматизацию всех 10 базовых когнитивных операций, образующих "когнитивный конфигуратор". Предложены не только математическая модель, но также и соответствующий численный метод (включая алгоритмы и структуры данных), а также программный инструментарий нелокальных нейронных сетей (универсальная когнитивная аналитическая система "Эйдос" версии 12.5), успешно апробированные в ряде предметных областей. Данная система обеспечивает неограниченное количество слоев ННС при максимальном количестве весовых коэффициентов в слое до 16 миллионов (в текущей версии), до 4000 выходных нейронов, а также автоматическую визуализацию и запись в виде графических файлов сформированных моделей нелокальных нейронов и Паретто-подмножеств нелокальной нейронной сети.