- •Технология извлечения знаний из нейронных сетей: апробация, проектирование по, использование в психолингвистике
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний 6
- •Глава 2. Нейронные сети 18
- •Глава 3. Упрощение нейронной сети. 27
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей 41
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов 60
- •Апробация работы
- •Введение Цель работы
- •Основные задачи исследования
- •Основные результаты работы, полученные лично автором
- •Публикации
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний
- •1.1 Знание и приобретение знаний
- •1.1.1 "Знание"
- •1.1.2. Приобретение знаний
- •1.2. Методы извлечения и приобретения знаний
- •1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем
- •1.2.1.1. Трудности при разработке экспертных систем
- •1.2.2. Методы извлечения знаний из таблиц данных
- •1.2.2.1. Технология извлечения знаний из таблиц данных
- •1.2.2.2. Таблица эмпирических данных
- •1.2.2.3. Статистические методы извлечения знаний из таблицы данных
- •1.2.3. Методы идентификации систем
- •1.2.4. Другие методы обработки данных
- •1.3. Требования к технологии извлечения знаний
- •Глава 2. Нейронные сети
- •2.1. Коннекционизм
- •2.2. Элементы нейронных сетей
- •2.3. Основные архитектуры нейронных сетей
- •2.4. Обучение нейронных сетей как минимизация функции ошибки
- •Глава 3. Упрощение нейронной сети.
- •3.1. Что такое упрощение нейронной сети и зачем оно нужно
- •3.2. Задача извлечения знаний из нейронной сети
- •3.3. Методы упрощения нейронных сетей
- •3.3.1. Контрастирование синапсов нейросети
- •3.3.2. Контрастирование нейронов нейросети
- •3.3.3. Контрастирование входных сигналов нейросети
- •3.3.4. Бинаризация синапсов
- •3.3.5. Упрощение нелинейных преобразователей нейронов
- •3.3.6. Дополнительные модификации алгоритмов контрастирования
- •3.3.7. Методы модификации структуры обученной сети
- •3.4. Требования к процессу упрощения сети для извлечения знаний
- •3.5. Упрощающие операции над нейронной сетью
- •3.6. Процедура комплексного упрощения нейронной сети
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей
- •4.1. Существующие методы извлечения знаний из обученной нейросети
- •4.1.1. Методы на основе квантования сигналов сети
- •4.1.2. Методы извлечения знаний параллельно с обучением нейросети
- •4.1.3. Методы извлечения знаний из обученной нейросети
- •4.2. Методы извлечения знаний: требования к методам
- •4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети
- •4.4. Приемы повышения вербализуемости нейронной сети
- •4.4.1. Добавление синдрома в набор входных симптомов
- •4.4.2. Построение иерархии продукционных правил
- •4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов
- •5.1. Семантический дифференциал
- •Литература
- •Публикации автора по теме диплома
- •Приложение 1. Плакаты для защиты диплома.
- •Цель работы
- •Основные задачи работы
- •Нейроны, сети, обучение
- •Методы (алгоритмы) обратного распространения
- •Задача извлечения знаний из нейронной сети
- •Значимость и упрощение
- •Критерии логической прозрачности
- •Метод семантического дифференциала
- •Гипотеза осгуда –
- •Все существенные свойства понятия определяются на основании небольшого числа базисных свойств
- •Основной базис Осгуда:
- •Отличие наших результатов
- •Координаты и особые точки индивидуальных смысловых пространств
- •Основные результаты работы, полученные лично автором
- •Приложение 2. Статья: Горбань п.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.
- •Литература
1.2.2.2. Таблица эмпирических данных
Строгие математические методы построения статистически достоверных решающих правил разработаны для случаев, когда о распределениях генеральных совокупностей образов известно абсолютно все: виды законов распределений и все их параметры, априорные вероятности появления образов, матрица потерь от ошибок и т.д.
К сожалению, при решении реальных задач такие условия не встречаются. Обучающая выборка каждого из k образов S1, S2,…,Sk представлена конечным числом mi реализаций, описанных n характеристиками x1,x2,…,xn. Сведений о законах и параметрах распределения генеральных совокупностей Gi образов нет. Неизвестна связь обучающей выборки с генеральными совокупностями (неизвестна степень "представительности" выборки). Владелец обучающей выборки имеет туманные представления об априорной вероятности появления различных образов Pi и о матрице стоимости ошибок распознавания Cij. Выборка может быть очень небольшой, в данных могут быть ошибки и пробелы, признаки могут быть измерены в разных шкалах [7], среди признаков могут быть неинформативные, "шумящие" признаки.
Для приведения ситуации к виду, при котором можно было бы применить тот или иной статистический алгоритм, нужно к имеющейся объективной информации добавить ряд субъективно выбираемых предположений или гипотез. Этот этап привнесения эвристических гипотез имеет место во всех случаях решения реальных задач, и поэтому деление алгоритмов на "строгие статистические" и "нестрогие эвристические" не имеет смысла [10].
Фактически, выдвижение и проверку новых гипотез для рассматриваемой таблицы данных можно рассматривать часть процесса извлечения знаний.
На применимость и качество работы отдельных методов большое влияние оказывает тип признаков (характеристик) объектов – дискретный (качественный), номинальный (порядковый) или количественный.
Во всех случаях вопрос о том, что является полезной информацией, совсем не очевиден и требует специального рассмотрения.
Представления о характере полезной информации, содержащейся в эмпирических данных, а зачастую и сам характер подобных данных не позволяют использовать для их обработки классические статистические методы. В связи с этим возникли совершенно новые задачи обработки эмпирических данных, а значит, и новые методы решения таких задач.
Это прежде всего задачи регрессионного, авторегрессионного и факторного анализов. В последние годы регрессионный и факторный анализ развивались особенно интенсивно и обогатились рядом новых моделей и методов, например, такими, как модель структурных уравнений регрессии [11], или методы группировки параметров.
Другая группа задач обработки данных – получение типологии изучаемых объектов. С ними связаны распознавание образов, методы автоматической классификации и т.п.
Новые эффекты обнаружились при комбинированном применении методов формирования факторов и методов автоматической классификации с тем, чтобы с каждым фактором была связана своя типология. Оказалось, что полученные типологии легко поддаются интерпретации и их можно понимать как системы терминов, позволяющих достаточно коротко описывать отдельные явления. Удалось создать обобщенный подход к обработке эмпирических данных самой различной природы, получивший название лингвистического [11].