- •Технология извлечения знаний из нейронных сетей: апробация, проектирование по, использование в психолингвистике
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний 6
- •Глава 2. Нейронные сети 18
- •Глава 3. Упрощение нейронной сети. 27
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей 41
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов 60
- •Апробация работы
- •Введение Цель работы
- •Основные задачи исследования
- •Основные результаты работы, полученные лично автором
- •Публикации
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний
- •1.1 Знание и приобретение знаний
- •1.1.1 "Знание"
- •1.1.2. Приобретение знаний
- •1.2. Методы извлечения и приобретения знаний
- •1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем
- •1.2.1.1. Трудности при разработке экспертных систем
- •1.2.2. Методы извлечения знаний из таблиц данных
- •1.2.2.1. Технология извлечения знаний из таблиц данных
- •1.2.2.2. Таблица эмпирических данных
- •1.2.2.3. Статистические методы извлечения знаний из таблицы данных
- •1.2.3. Методы идентификации систем
- •1.2.4. Другие методы обработки данных
- •1.3. Требования к технологии извлечения знаний
- •Глава 2. Нейронные сети
- •2.1. Коннекционизм
- •2.2. Элементы нейронных сетей
- •2.3. Основные архитектуры нейронных сетей
- •2.4. Обучение нейронных сетей как минимизация функции ошибки
- •Глава 3. Упрощение нейронной сети.
- •3.1. Что такое упрощение нейронной сети и зачем оно нужно
- •3.2. Задача извлечения знаний из нейронной сети
- •3.3. Методы упрощения нейронных сетей
- •3.3.1. Контрастирование синапсов нейросети
- •3.3.2. Контрастирование нейронов нейросети
- •3.3.3. Контрастирование входных сигналов нейросети
- •3.3.4. Бинаризация синапсов
- •3.3.5. Упрощение нелинейных преобразователей нейронов
- •3.3.6. Дополнительные модификации алгоритмов контрастирования
- •3.3.7. Методы модификации структуры обученной сети
- •3.4. Требования к процессу упрощения сети для извлечения знаний
- •3.5. Упрощающие операции над нейронной сетью
- •3.6. Процедура комплексного упрощения нейронной сети
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей
- •4.1. Существующие методы извлечения знаний из обученной нейросети
- •4.1.1. Методы на основе квантования сигналов сети
- •4.1.2. Методы извлечения знаний параллельно с обучением нейросети
- •4.1.3. Методы извлечения знаний из обученной нейросети
- •4.2. Методы извлечения знаний: требования к методам
- •4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети
- •4.4. Приемы повышения вербализуемости нейронной сети
- •4.4.1. Добавление синдрома в набор входных симптомов
- •4.4.2. Построение иерархии продукционных правил
- •4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов
- •5.1. Семантический дифференциал
- •Литература
- •Публикации автора по теме диплома
- •Приложение 1. Плакаты для защиты диплома.
- •Цель работы
- •Основные задачи работы
- •Нейроны, сети, обучение
- •Методы (алгоритмы) обратного распространения
- •Задача извлечения знаний из нейронной сети
- •Значимость и упрощение
- •Критерии логической прозрачности
- •Метод семантического дифференциала
- •Гипотеза осгуда –
- •Все существенные свойства понятия определяются на основании небольшого числа базисных свойств
- •Основной базис Осгуда:
- •Отличие наших результатов
- •Координаты и особые точки индивидуальных смысловых пространств
- •Основные результаты работы, полученные лично автором
- •Приложение 2. Статья: Горбань п.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.
- •Литература
Гипотеза осгуда –
СУЩЕСТВУЮТ КООРДИНАТЫ СМЫСЛА:
Все существенные свойства понятия определяются на основании небольшого числа базисных свойств
Свойство 1
Свойство 2
Свойство 3
Свойство 4
Свойство 5
…………
Базисное свойство
1
Базисное свойство
2
Базисное свойство
3
…………….
C
лово
Основной базис Осгуда:
Оценка («Хороший-Плохой»),
Сила («Сильный-Слабый»),
Активность («Активный-Пассивный»)
ОТЛИЧИЕ НАШЕЙ ПОСТАНОВКИ
ОТ ЗАДАЧИ ОСГУДА
У Осгуда |
У нас |
Ищется базис для всех носителей языка («Средний базис»). |
Ищется базис для индивидуального носителя языка («Базис индивидуальных смыслов»). |
Ищутся линейные связи. |
Ищутся нелинейные связи (параметр, характеризующий регулярность связи – число нейронов). |
У Осгуда признаки, не восстанавливаемые по базисным, выбрасываются, как незначимые. |
У нас объекты, признаки которых не удается восстановить, рассматриваются как особые, характеризующие индивидуальные отклонения («психоаналитические»). |
Отличие наших результатов
ОТ РЕЗУЛЬТАТОВ ОСГУДА
У Осгуда |
У нас |
Пространство смыслов трехмерно, ошибка предсказания свойств велика. |
Размерность пространства смыслов индивидуальна, само пространство есть объединение типового MAN-многообразия с небольшим числом точек «психоаналитических» больших отклонений. Именно их наличие не позволяет дать точное «трехмерное» (среднекультурное) предсказание. |
Координаты и особые точки индивидуальных смысловых пространств
Определяющий набор признаков 1-го человека (размерность 7):
Умный – глупый
Шумный – тихий
Разумный – неразумный
Плотный – рыхлый
Дружественный–враждебный
Страшный – не страшный
Опасный – безопасный.
Исключения: горшок, теорема, наука, деньги
2-го человека (размерность 6):
Сильный – слабый
Приятный – неприятный
Опасный – безопасный
Страшный – не страшный
Дружественный–враждебный
Удобный – неудобный.
Исключения: работа, жена, наука, деньги, тортик
3-го человека (размерность 2):
Приятный – неприятный
Опасный – безопасный.
Исключения: нет
Основные результаты работы, полученные лично автором
Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа – осмысления в терминах проблемной области) извлеченного из сети набора правил:
На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу.
Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков.
Разработано техническое задание на новую версию программы-нейроимитатора, реализующую предложенные технологии.
Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты.
Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики.
