- •Содержание
- •Раздел 1.4. Применение и перспективы систем искусственного интеллекта 378
- •Часть II. Лабораторный практикум 429
- •Часть III. Заочное обучение, самостоятельная работа студентов и подготовка к экзамену 589
- •Предисловие
- •Часть I. Курс лекций
- •1.1.1.1.1. Процессы труда и познания, как информационные процессы снятия неопределенности
- •1.1.1.1.2. Организм человека и средства труда как информационные системы
- •1.1.1.1.3. Законы развития техники
- •1.1.1.1.3.1. Закон перераспределения функций между человеком и средствами труда
- •1.1.1.1.3.2. Закон повышения качества базиса
- •1.1.1.1.4. Детерминация формы сознания человека функциональным уровнем средств труда
- •1.1.1.1.5. Неизбежность возникновения компьютеров, информационных систем и систем искусственного интеллекта
- •1.1.1.2. Информационная теория стоимости
- •1.1.1.2.1. Связь количества и качества информации с меновой и потребительной стоимостью
- •1.1.1.2.2. Информация, как сырье и как товар: абсолютная, относительная и аналитическая информация. Данные, информация, знания
- •1.1.1.2.3. Стоимость и амортизация систем искусственного интеллекта и баз знаний
- •1.1.1.3. Интеллектуализация – генеральное направление и развития информационных технологий
- •1.1.1.3.1. От электронных вычислительных машин к компьютерам. Функциональное определение компьютера
- •1.1.1.3.2. Эволюция понятия: "Обработка информации" от информационного сырья к информационному продукту
- •1.1.1.3.3. Эволюция технологий создания и поддержки информационных систем: автоматизация функций посредников
- •1.1.1.3.4. Перспективы информационных технологий: интеллектуализация, создание самообучающихся, саморазвивающихся (эволюционирующих) и самовоспроизводящихся систем
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.1.2. Лекция-2. Определение и критерии идентификации систем искусственного интеллекта Учебные вопросы
- •1.1.2.1. Данные, информация, знания. Системно-когнитивный анализ как развитие концепции смысла Шенка-Абельсона
- •1.1.2.1.1. Постановка проблемы
- •1.1.2.1.2. Традиционные пути решения проблемы
- •1.1.2.1.2.1. Классификация и характеристика концепций смысла
- •1.1.2.1.2.2. Суть концепции смысла Шенка-Абельсона
- •1.1.2.1.3. Идея решения проблемы
- •1.1.2.1.3.1. Формулировка идеи
- •1.1.2.1.3.2. Обоснование принципиальной возможности реализации идеи
- •1.1.2.1.4. Когнитивная концепция ск-анализа и синтез когнитивного конфигуратора
- •1.1.2.1.4.1. Понятие когнитивного конфигуратора и необходимость естественнонаучной (формализуемой) когнитивной концепции
- •1.1.2.1.4.2. Базовая когнитивная концепция
- •1.1.2.1.4.3. Когнитивный конфигуратор и базовые когнитивные операции системного анализа
- •1.1.2.1.4.4. Задачи формализации базовых когнитивных операций системного анализа
- •1.1.2.1.5. Мышление как вычисление смысла и реализация операций со смыслом в инструментарии ск-анализа – системе "Эйдос"
- •1.1.2.1.7. Выводы
- •1.1.2.2. Понятие: "Система искусственного интеллекта", место сии в классификации информационных систем
- •1.1.2.3. Определение и классификация систем искусственного интеллекта, цели и пути их создания
- •1.1.2.3.1. Тест Тьюринга и критерии "интеллектуальности" информационных систем. Может ли машина мыслить? Может ли искусственный интеллект превзойти своего создателя?
- •1. Машина, прошедшая тест, может не быть разумной, а просто следовать какому-то хитроумному набору правил.
- •2. Машина может быть разумной и не умея разговаривать, как человек, ведь и не все люди, которым мы не отказываем в разумности, умеют писать.
- •1.1.2.3.2. Классификация систем искусственного интеллекта
- •1.1.2.3.3. Особенности технологии создания систем искусственного интеллекта (обучение, "социализация", как технологический этап)
- •1.1.2.4. Информационная модель деятельности специалиста и место систем искусственного интеллекта в этой деятельности
- •1.1.2.5. Жизненный цикл системы искусственного интеллекта и критерии перехода между этапами этого цикла
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.2.1.1.2. Методы и этапы системного анализа
- •1.2.1.1.3. Этапы когнитивного анализа
- •1.2.1.1.4. Предлагаемая обобщенная схема системного анализа, ориентированного на интеграцию с когнитивными технологиями
- •1.2.1.2. Когнитивная концепция и синтез когнитивного конфигуратора
- •1.2.1.2.1. Понятие когнитивного конфигуратора и необходимость естественнонаучной (формализуемой) когнитивной концепции
- •1.2.1.2.1.1. Определение понятия конфигуратора
- •1.2.1.2.1.2. Понятие когнитивного конфигуратора
- •1.2.1.2.1.3. Когнитивные концепции и операции
- •1.2.1.2.2. Предлагаемая когнитивная концепция
- •1.2.1.2.3. Когнитивный конфигуратор и базовые когнитивные операции системного анализа
- •1.2.1.2.4. Задачи формализации базовых когнитивных операций системного анализа
- •Выбор единой интерпретируемой численной меры для классов и атрибутов
- •Выбор неметрической меры сходства объектов в семантических пространствах
- •Определение идентификационной и прогностической ценности атрибутов
- •Ортонормирование семантических пространств классов и атрибутов (Парето-оптимизация)
- •1.2.1.4. Место и роль ск-анализа в структуре управления
- •1.2.1.4.1. Структура типовой асу
- •1.2.1.4.2. Параметрическая модель адаптивной асу сложными системами
- •1.2.1.4.3. Модель рефлексивной асу активными объектами и понятие мета-управления
- •1.2.1.4.4. Двухконтурная модель расу в апк Концепция рефлексивной асу в апк и технология qfd (технология развертывания функций качества)
- •Рефлексивная асу апк группы б: 1-й контур: "Агротехнологии – конечный продукт"
- •Рефлексивная асу апк группы а: 2-й контур: "Руководство – агротехнологический процесс"
- •Двухконтурная модель и обобщенная схема рефлексивной асу качеством подготовки специалистов
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.2.2.1.2. Выбор базовой численной меры Абсолютная, относительная и аналитическая информация.
- •Выбор в качестве базовой численной меры количества информации
- •1.2.2.1.3. Конструирование системной численной меры на основе базовой Системное обобщение формулы Хартли для количества информации
- •Гипотеза о законе возрастания эмерджентности и следствия из него
- •Системное обобщение классической формулы Харкевича, как количественная мера знаний
- •Генезис системной (эмерджентной) теории информации
- •1.2.2.2. Семантическая информационная модель ск-анализа
- •1.2.2.2.1. Формализм динамики взаимодействующих семантических информационных пространств. Двухвекторное представление данных.
- •Семантические пространства классов и атрибутов
- •Требования к системам координат, свойства векторов классов и атрибутов, решение проблемы снижения размерности описания и ортонормирования
- •1.2.2.2.2. Применение классической теории информации к.Шеннона для расчета весовых коэффициентов и мер сходства
- •Формальная постановка задачи
- •Информация как мера снятия неопределенности
- •Количество информации в индивидуальных событиях и лемма Неймана–Пирсона
- •Декомпозиция основной задачи в ряд частных подзадач
- •Решение задачи 1: "Синтез семантической информационной модели активного объекта управления"
- •Решение задачи 2: "Адаптация модели объекта управления"
- •Решение задачи 3: "Разработка алгоритмов решения основных задач асу"
- •Обобщение интегральной модели путем учета значений выходных параметров объекта управления
- •1.2.2.3. Некоторые свойства математической модели (сходимость, адекватность, устойчивость и др.)
- •1.2.2.3.1. Непараметричность модели. Робастные процедуры и фильтры для исключения артефактов
- •1.2.2.3.2. Зависимость информативностей факторов от объема обучающей выборки
- •1.2.2.3.3. Зависимость адекватности семантической информационной модели от объема обучающей выборки (адекватность при малых и больших выборках)
- •1.2.2.3.4. Семантическая устойчивость модели
- •1.2.2.3.5. Зависимость некоторых параметров модели от ее ортонормированности
- •Зависимость адекватности модели от ее ортонормированности
- •Зависимость уровня системности модели от ее ортонормированности
- •Зависимость степени детерминированности модели от ее ортонормированности
- •1.2.2.4. Взаимосвязь математической модели ск-анализа с другими моделями
- •1.2.2.4.1. Взаимосвязь системной меры целесообразности информации со статистикой 2 и новая мера уровня системности предметной области
- •1.2.2.4.2. Сравнение, идентификация и прогнозирование как разложение векторов объектов в ряд по векторам классов (объектный анализ)
- •1.2.2.4.3. Системно-когнитивный и факторный анализ. Ск-анализ, как метод вариабельных контрольных групп
- •1.2.2.4.4. Семантическая мера целесообразности информации и эластичность Эластичность в непрерывном случае
- •Эластичность в дискретном случае
- •Свойства эластичности
- •1.2.2.4.5. Связь семантической информационной модели с нейронными сетями
- •Метафора нейросетевого представления семантической информационной модели
- •Соответствие основных терминов и понятий
- •Недостатки нейронных сетей и пути их преодоления в семантической информационной модели
- •Гипотеза о нелокальности нейрона и информационная нейросетевая парадигма
- •Решение проблемы интерпретируемости весовых коэффициентов (семантическая мера целесообразности информации и закон Фехнера)
- •Семантическая информационная модель, как нелокальная нейронная сеть
- •Гипотеза о физической природе нелокального взаимодействия нейронов в нелокальной нейронной сети
- •Решение проблемы интерпретируемости передаточной функции
- •Решение проблемы размерности
- •Моделирование причинно-следственных цепочек в нейронных сетях и семантической информационной модели
- •Моделирование иерархических структур обработки информации
- •Нейронные сети и ск-анализ
- •1.2.2.4.6. Математический метод ск-анализа в свете идей интервальной бутстрепной робастной статистики объектов нечисловой природы Постановка проблемы
- •Традиционные пути решения проблемы
- •Идея решения проблемы
- •Математическая модель ск-анализа
- •Методика численных расчетов ск-анализа
- •Специальный программный инструментарий ск-анализа – система "Эйдос"
- •Контрольные вопросы
- •Рекомендуемая литература
- •Шкалы классов (классификационные шкалы)
- •Шкалы атрибутов (описательные шкалы)
- •1.2.3.2. Иерархическая структура данных и последовательность численных расчетов в ск-анализе
- •1.2.3.3. Обобщенное описание алгоритмов ск-анализа
- •Бкоса-2.1. "Восприятие и запоминание исходной обучающей информации"
- •Бкоса-2.2. "Репрезентация. Сопоставление индивидуального опыта с коллективным (общественным)"
- •Бкоса-3.1.1. "Обобщение (синтез, индукция). Накопление первичных данных"
- •Бкоса-3.1.2. "Обобщение (синтез, индукция). Исключение артефактов"
- •Бкоса-7. "Сравнение, идентификация и прогнозирование. Распознавание состояний конкретных объектов (объектный анализ)"
- •Бкоса-9.1. "Дедукция и абдукция классов (семантический анализ обобщенных образов классов, решение обратной задачи прогнозирования)"
- •1.2.3.4. Детальные алгоритмы ск-анализа
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.2.4. Лекция-6. Технология синтеза и эксплуатации приложений в системе "Эйдос" Учебные вопросы
- •1.2.4.1. Назначение и состав системы "эйдос"
- •1.2.4.1.1. Цели и основные функции системы "Эйдос"
- •Синтез содержательной информационной модели предметной области
- •Идентификация и прогнозирование состояния объекта управления, выработка управляющих воздействий
- •Углубленный анализ содержательной информационной модели предметной области
- •1.2.4.1.2. Обобщенная структура системы "Эйдос"
- •Ввод-корректировка обучающей информации (бкоса-2.1)
- •Управление составом обучающей информации (бкоса-2.2)
- •1.2.4.2.2. Синтез модели: пакетное обучение системы распознавания (подсистема "Обучение") (бкоса-3)
- •Расчет матрицы абсолютных частот (бкоса-3.1.1)
- •Исключение артефактов (робастная процедура) (бкоса-3.1.2)
- •Расчет матриц информативностей (бкоса-3.1.3, 3.2, 3.3)
- •Измерение сходимости и устойчивости модели
- •1.2.4.2.3. Оптимизация модели (подсистема "Оптимизация") (бкоса-4)
- •Формирование ортонормированного базиса классов (бкоса-4.2)
- •Исключение признаков с низкой селективной силой (бкоса-4.1)
- •Удаление классов и признаков, по которым недостаточно данных
- •1.2.4.2.4. Верификация модели (оценка ее адекватности) (бкоса-5)
- •1.2.4.2.5. Эксплуатация приложения в режиме адаптации и периодического синтеза модели (бкоса-7, бкоса-9, бкоса-10) Идентификация и прогнозирование (подсистема "Распознавание") (бкоса-7)
- •Информационные портреты классов (бкоса-9.1)
- •Расчет матрицы сходства эталонов классов (бкоса-10.1.1)
- •Генерация кластеров и конструктов классов (бкоса-10.1.2)
- •Автоматическое выполнение режимов 1-2-3
- •Вывод 2d-семантических сетей классов (бкоса-10.1.3)
- •Когнитивные диаграммы классов (бкоса-10.3.1, 10.3.2)
- •Семантические портреты атрибутов (бкоса-9.2)
- •Расчет матрицы сходства атрибутов (бкоса-10.2.1)
- •Генерация кластеров и конструктов атрибутов (бкоса-10.2.2)
- •Вывод 2d-семантических сетей атрибутов (бкоса-10.2.3)
- •Когнитивные диаграммы атрибутов (бкоса-10.4.1, 10.4.2)
- •Оценка достоверности заполнения анкет
- •1.2.4.3. Технические характеристики и обеспечение эксплуатации системы "эйдос" (версии 12.5)
- •1.2.4.3.1. Состав системы "Эйдос": базовая система, системы окружения и программные интерфейсы импорта данных
- •1.2.4.3.2. Отличия системы "Эйдос" от аналогов: экспертных и статистических систем
- •1.2.4.3.3. Некоторые количественные характеристики системы "Эйдос"
- •1.2.4.3.4. Обеспечение эксплуатации системы "Эйдос"
- •Контрольные вопросы
- •Рекомендуемая литература
- •Раздел 1.3. Принципы построения интеллектуальных информационных систем
- •1.3.1. Лекция-7. Системы с интеллектуальной обратной связью и интеллектуальными интерфейсами Учебные вопросы
- •1.3.1.1. Интеллектуальные интерфейсы. Использование биометрической информации о пользователе в управлении системами
- •1.3.1.1.1. Идентификация и аутентификация личности по почерку. Понятие клавиатурного почерка
- •1.3.1.1.2. Соотношение психографологии и атрибуции текстов
- •1.3.1.1.3. Идентификация и аутентификация личности пользователя компьютера по клавиатурному почерку
- •Варианты постановки задачи распознавания клавиатурного почерка
- •Характеристики клавиатурного почерка
- •Математические методы распознавания клавиатурного почерка
- •1.3.1.1.4. Прогнозирование ошибок оператора по изменениям в его электроэнцефалограмме
- •1.3.1.2. Системы с биологической обратной связью
- •1.3.1.2.1. Общие положения
- •1.3.1.2.1. Мониторинг состояния сотрудников сборочного конвейера с целью обеспечения высокого качества продукции
- •1.3.1.2.2. Компьютерные тренажеры, основанные на бос, для обучения больных навыкам управления своим состоянием
- •1.3.1.2.3. Компьютерные игры с бос
- •1.3.1.3. Системы с семантическим резонансом. Компьютерные -технологии и интеллектуальный подсознательный интерфейс
- •1.3.1.4. Системы виртуальной реальности и критерии реальности. Эффекты присутствия, деперсонализации и модификация сознания пользователя
- •1.3.1.4.1. Классическое определение системы виртуальной реальности
- •1.3.1.4.2. "Эффект присутствия" в виртуальной реальности
- •1.3.1.4.3. Применения систем виртуальной реальности
- •1.3.1.4.4. Модификация сознания и самосознания пользователя в виртуальной реальности
- •1.3.1.4.5. Авторское определение системы виртуальной реальности
- •1.3.1.4.6. Критерии реальности при различных формах сознания и их применение в виртуальной реальности
- •1.3.1.4.7. Принципы эквивалентности (относительности) Галилея и Эйнштейна и критерии виртуальной реальности
- •1.3.1.5. Системы с дистанционным телекинетическим интерфейсом
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.2. Лекция-8. Автоматизированные системы распознавания образов Учебные вопросы
- •1.3.2.1. Основные понятия
- •1.3.2.1.1. Признаки и образы конкретных объектов, метафора фазового пространства
- •1.3.2.1.2. Признаки и обобщенные образы классов
- •1.3.2.1.3. Обучающая выборка и ее репрезентативность по отношению к генеральной совокупности. Ремонт (взвешивание) данных
- •1.3.2.1.4. Основные операции: обобщение и распознавание
- •1.3.2.1.5. Обучение с учителем (экспертом) и самообучение (кластерный анализ)
- •1.3.2.1.6. Верификация, адаптация и синтез модели
- •1.3.2.2. Проблема распознавания образов
- •1.3.2.3. Классификация методов распознавания образов
- •1.3.2.4. Применение распознавания образов для идентификации и прогнозирования. Сходство и различие в содержании понятий "идентификация" и "прогнозирование"
- •1.3.2.5. Роль и место распознавания образов в автоматизации управления сложными системами
- •1.3.2.5.1. Обобщенная структура системы управления
- •1.3.2.5.2. Место системы идентификации в системе управления
- •1.3.2.5.3. Управление как задача, обратная идентификации и прогнозированию
- •1.3.2.6. Методы кластерного анализа
- •1.3.2.6.1. Древовидная кластеризация
- •1.3.2.6.2. Двухвходовое объединение
- •1.3.2.6.3. Метод k средних
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.3. Лекция-9. Математические методы и автоматизированные системы поддержки принятия решений Учебные вопросы
- •1.3.3.1. Многообразие задач принятия решений
- •1.3.3.1.1. Принятие решений, как реализация цели
- •1.3.3.1.2. Принятие решений, как снятие неопределенности (информационный подход)
- •Простейшее понятие об информации (подход Хартли).
- •Мера Шеннона, как обобщение меры Хартли для неравновероятных событий.
- •1.3.3.1.3. Связь принятия решений и распознавания образов
- •1.3.3.1.4. Классификация задач принятия решений
- •1.3.3.2. Языки описания методов принятия решений
- •1.3.3.2.1. Критериальный язык
- •1.3.3.2.2. Язык последовательного бинарного выбора
- •1.3.3.2.3. Обобщенный язык функций выбора
- •1.3.3.2.4. Групповой выбор
- •1.3.3.3. Выбор в условиях неопределенности
- •1.3.3.3.1. Информационная (статистическая) неопределенность в исходных данных
- •1.3.3.3.2. Неопределенность последствий
- •1.3.3.3.3. Расплывчатая неопределенность
- •1.3.3.4. Решение как компромисс и баланс различных интересов. О некоторых ограничениях оптимизационного подхода
- •1.3.3.5. Экспертные методы выбора
- •1.3.3.6. Юридическая ответственность за решения, принятые с применением систем поддержки принятия решений
- •1.3.3.7. Условия корректности использования систем поддержки принятия решений
- •1.3.3.8. Хранилища данных для принятия решений
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.4. Лекция-10. Экспертные системы Учебные вопросы
- •1.3.4.1. Экспертные системы, базовые понятия
- •1.3.4.2. Экспертные системы, методика построения
- •1.3.4.3. Этап-1: "Идентификация"
- •1.3.4.4. Этап-2: "Концептуализация"
- •1.3.4.5. Этап-3: "Формализация"
- •1.3.4.6. Этап-4: "Разработка прототипа"
- •1.3.4.7. Этап-5: "Экспериментальная эксплуатация"
- •1.3.4.8. Этап-6: "Разработка продукта"
- •1.3.4.9. Этап-7: "Промышленная эксплуатация"
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.5. Лекция-11. Нейронные сети Учебные вопросы
- •1.3.5.1. Биологический нейрон и формальная модель нейрона Маккалоки и Питтса
- •1.3.5.2. Возможность решения простых задач классификации непосредственно одним нейроном
- •1.3.5.3. Однослойная нейронная сеть и персептрон Розенблата
- •1.3.5.4. Линейная разделимость и персептронная представляемость
- •1.3.5.5. Многослойные нейронные сети
- •1.3.5.5.1. Многослойный персептрон
- •1.3.5.5.2. Модель Хопфилда
- •1.3.5.5.3. Когнитрон и неокогнитрон Фукушимы
- •1.3.5.6. Проблемы и перспективы нейронных сетей
- •1.3.5.7. Модель нелокального нейрона и нелокальные интерпретируемые нейронные сети прямого счета
- •1.3.5.7.1. Метафора нейросетевого представления семантической информационной модели
- •1.3.5.7.2. Соответствие основных терминов и понятий
- •1.3.5.7.3. Гипотеза о нелокальности нейрона и информационная нейросетевая парадигма
- •1.3.5.7.4. Решение проблемы интерпретируемости весовых коэффициентов (семантическая мера целесообразности информации и закон Фехнера)
- •1.3.5.7.5. Семантическая информационная модель, как нелокальная нейронная сеть
- •1.3.5.7.6. Гипотеза о физической природе нелокального взаимодействия нейронов в нелокальной нейронной сети
- •1.3.5.7.7. Решение проблемы интерпретируемости передаточной функции
- •1.3.5.7.8. Решение проблемы размерности
- •1.3.5.7.9. Решение проблемы линейной разделимости
- •1.3.5.7.10. Моделирование причинно-следственных цепочек в нейронных сетях и семантической информационной модели
- •1.3.5.7.11. Моделирование иерархических структур обработки информации
- •1.3.5.7.12. Нейронные сети и ск-анализ
- •1.3.5.7.13. Графическое отображение нейронов, Паррето-подмножеств нелокальной нейронной сети, семантических сетей, когнитивных карт и диаграмм в системе "Эйдос"
- •Обучение нелокальной нейронной сети
- •Классические когнитивные карты
- •Обобщенные когнитивные карты
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.6. Лекция-12. Генетические алгоритмы и моделирование биологической эволюции Учебные вопросы
- •1.1.6.1. Основные понятия, принципы и предпосылки генетических алгоритмов
- •1.1.6.2. Пример работы простого генетического алгоритма
- •1.1.6.3. Достоинства и недостатки генетических алгоритмов
- •1.1.6.4. Примеры применения генетических алгоритмов
- •1.3.7.1. Определение основных понятий: "Когнитивное моделирование" и "Классическая когнитивная карта", их связь с когнитивной психологией и гносеологией
- •1.3.7.2. Когнитивная (познавательно-целевая) структуризация знаний об исследуемом объекте и внешней для него среды на основе pest-анализа и swot-анализа
- •1.3.7.3. Разработка программы реализации стратегии развития исследуемого объекта на основе динамического имитационного моделирования (при поддержке программного пакета Ithink)
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.3.8. Лекция-14. Выявление знаний из опыта (эмпирических фактов) и интеллектуальный анализ данных (data mining) Учебные вопросы
- •1.3.8.1. Интеллектуальный анализ данных
- •1.3.8.2. Типы выявляемых закономерностей
- •1.3.8.2.1. Ассоциация
- •1.3.8.2.2. Последовательность
- •1.3.8.2.3. Классификация
- •1.3.8.2.4. Кластеризация
- •1.3.8.2.5. Прогнозирование
- •1.3.8.3. Математический аппарат
- •1.3.8.3.1. Деревья решений
- •1.3.8.3.2. Регрессионный анализ
- •1.3.8.3.3. Нейронные сети
- •1.3.8.3.4. Временные ряды
- •1.3.8.4. Области применения технологий интеллектуального анализа данных
- •1.3.8.4.1. Розничная торговля
- •1.3.8.4.2. Банковская деятельность
- •1.3.8.4.3. Страховой бизнес
- •1.3.8.4.4. Производство
- •1.3.8.5. Автоматизированные системы для интеллектуального анализа данных
- •Контрольные вопросы
- •Рекомендуемая литература
- •Раздел 1.4. Применение и перспективы систем искусственного интеллекта
- •1.4.1. Лекция-15. Области применения систем искусственного интеллекта Учебные вопросы
- •1.4.1.1. Обзор опыта применения аск-анализа для управления и исследования социально-экономических систем
- •1.4.1.1.1. Синтез и решение задач управления качеством подготовки специалистов
- •1.4.1.1.2. Экономические исследования
- •6.1.3.1. Маркетинговые исследования
- •6.1.3.2. Рекламные исследования
- •1.4.1.1.3. Социологические и политологические исследования
- •1.4.1.2. Поддержка принятия решений по выбору агротехнологий, культур и пунктов выращивания
- •1.4.1.2.1. Поддержка принятия решений по выбору агротехнологий
- •Параметры семантической информационной модели
- •Методика проведения работ
- •Ограничения и недостатки предложенных модели и инструментария и пути их преодоления
- •1.4.1.2.2. Поддержка принятия решений по выбору культур и пунктов выращивания
- •Цель работы
- •Проблема
- •Традиционные пути решения
- •Недостатки традиционных путей
- •Предлагаемая концепция решения проблемы
- •Математическая модель
- •Алгоритмы и структуры данных
- •Программный инструментарий
- •Технология применения программного инструментария
- •Картографическое районирование косточковых плодовых в Южно-Российском регионе
- •1.4.1.3. Прогнозирование динамики сегмента рынка
- •1.4.1.3.2. Когнитивная структуризация и формализация предметной области
- •1.4.1.3.3. Исходные данные для прогноза: биржевые базы данных
- •1.4.1.3.4. Формирование точечных прогнозов
- •1.4.1.3.5. Формирование средневзвешенного прогноза
- •1.4.1.3.6. Оценка адекватности модели. Зависимость достоверности прогнозирования от разброса точечных прогнозов
- •1.4.1.3.7. Детерминистские и бифуркационные участки траектории
- •1.4.1.3.8. Прогнозирования времени перехода системы в бифуркационное состояние
- •1.4.1.3.9. Исследование семантической информационной модели
- •Ослабление влияния факторов со временем
- •Старение информации и периоды эргодичности процессов в предметной области
- •Автоколебания фондового рынка
- •Время реакции системы на изменение факторов (ригидность)
- •Управление фондовым рынком на детерминистских участках траектории
- •Управление фондовым рынком в точках бифуркации
- •Контрольные вопросы
- •Рекомендуемая литература
- •1.4.2. Лекция-16. Перспективы развития систем искусственного интеллекта, в т.Ч. В Internet Учебные вопросы
- •1.4.2.1. Ограничения аск-анализа и обоснованное расширение области его применения на основе научной индукции
- •1.4.2.2. Перспективы применения аск-анализа в управлении
- •1.4.2.2.1. Оценка рисков страхования и кредитования предприятий Актуальность.
- •Традиционные подходы к решению проблемы: фундаментальный и технический подход (содержательные и феноменологические модели)
- •Предлагаемая методология и технология как синтез технического и фундаментального подхода. Общие принципы решения проблемы
- •1.4.2.2.2. Мониторинг, прогнозирование и управление в финансово-экономической сфере Актуальность
- •Ценовой мониторинг
- •Мониторинг хода экономической реформы
- •Мониторинг инвестиционных проектов
- •Кредитно-финансовый мониторинг
- •Мониторинг предприятий
- •Социально–психологический мониторинг
- •Результаты и перспективы
- •1.4.2.2.3. Некоторые перспективные области применения аск-анализа
- •1.4.2.3. Развитие аск-анализа
- •1.4.2.3.1. Многоагентные распределенные системы обнаружения, накопления и использования знаний в Internet
- •1.4.2.3.2. Развитие аск-анализа с применением теории нечетких множеств и неклассической логики
- •1.4.2.3.3. Динамика взаимодействующих семантических пространств и создание континуального аск-анализа
- •1.4.2.4. Другие перспективные области применения аск-анализа и систем искусственного интеллекта
- •Контрольные вопросы
- •Рекомендуемая литература
- •Часть II. Лабораторный практикум
- •2.1. Соответствие лабораторных работ рабочим программам по специальностям
- •351401 – Прикладная информатика в экономике
- •351403 – Прикладная информатика в юриспруденции
- •2.2. Структура лабораторной работы, порядок ее установки, выполнения и сдачи
- •2.2.1. Структура лабораторной работы
- •2.2.2. Инструкция по установке лабораторной работы
- •Инструкция по установке системы "Эйдос" и баз данных лабораторной работы
- •2.2.3. Выполнение и сдача лабораторной работы
- •2.3. Материально-техническое и программное обеспечение для проведения лабораторных работ в компьютерном классе
- •2.3.1. Материально-техническое обеспечение
- •Задача 1
- •Задача 2
- •Пример решения задачи 1 Пример решения задания 1.1: "Формализовать задачу, создав классификационные и описательные шкалы и обучающую выборку"
- •Пример решения задачи 2 Пример решения задания 2.1: "Создать стандартизированные текстовые описания составов в виде отдельных файлов стандарта dos-текст"
- •Пример решения задания 2.2: "Сгенерировать классификационные и описательные шкалы"
- •Пример решения задания 2.3: "Сгенерировать обучающую выборку"
- •Пример решения задания 2.4: "Осуществить синтез и верификацию семантической информационной модели"
- •Пример решения задания 2.5 "Провести анализ модели, сформулировав правила для прогнозирования направления движения составов"
- •Пример решения задания 2.6: "Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи"
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения задания 2: Осуществить синтез и верификацию модели
- •Пример решения задания 3: Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи.
- •Пример решения задания 4: Провести анализ модели
- •Пример решения задания 4.1: Как посещаемость занятий по системам искусственного интеллекта влияет на успеваемость по этой дисциплине?
- •Пример решения задания 4.2: Как сказывается пол на посещаемости?
- •Пример решения задания 4.3: Как выглядят конструкты "Пол", "Город-деревня", "Учебная группа", "Посещаемость"?
- •Пример решения задания 4.4: Какие студенты являются "типичными представителями" для своих учебных групп, а какие обладают своеобразием и выраженной индивидуальностью?
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Задание 1.2. В качестве описательных шкал и градаций использовать характеристики подчерка.
- •Задание 1.3. Обучающую выборку заполнить на основе данных по учащимся своей группы и дополнить данными параллельной группы.
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Задание 1.2. В качестве описательных шкал и градаций использовать предлагаемую анкету.
- •Задание 1.3. Обучающую выборку заполнить на основе данных по учащимся своей группы и дополнить данными параллельной группы.
- •Задание 2. Осуществить синтез и верификацию (измерение адекватности) семантической информационной модели.
- •Задание 3. Провести системно-когнитивный анализ модели: Задание 3.1. Решить задачи идентификации и прогнозирования (для себя).
- •Задание 3.2. Сгенерировать информационные портреты классов и факторов, т.Е. Решить обратную задачу прогнозирования.
- •Задание 3.3. Провести кластерно-конструктивный анализ классов и факторов (результаты отобразить в форме семантических сетей классов и факторов).
- •Задание 3.4. Осуществить содержательное сравнение классов и факторов (результаты отобразить в форме когнитивных диаграмм классов и факторов).
- •Задание 3.5. Построить нелокальные нейроны и интерпретируемые нейронные сети.
- •Задание 3.6. Построить классические когнитивные модели (отобразить в форме когнитивных карт).
- •Задание 3.7. Построить интегральные когнитивные модели (отобразить в форме интегральных когнитивных карт).
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения Пример решения задания 1: "Создать файл в стандарте dos-текст с концами строк, записать его в поддиректорию dob"
- •Пример решения задания 2: "Сгенерировать классификационные и описательные шкалы и градации, а также обучающую выборку"
- •Пример решения задания 3: " Осуществить синтез и верификацию модели"
- •Пример решения задания 4: "Проверить устойчивость модели к неполноте информации и наличию шума"
- •Устойчивость модели к неполноте информации
- •Устойчивость модели к наличию шума
- •Пример решения задания 5: "Проверить способность модели правильно идентифицировать классы, один из которых является подмножеством другого"
- •Пример решения задания 6: Оценить ценность букв для идентификации слов. Сравнить суммарную ценность для этой цели гласных и согласных букв
- •Кластерно-конструктивный анализ букв
- •Информационные портреты классов (слов)
- •Профили слов
- •Семантические портреты и профили букв
- •Пример решения задания 8: "Вывести в графической форме семантические сети и когнитивные диаграммы слов и букв, классическую и интегральную когнитивные карты"
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задания
- •Пример решения
- •1. Осуществить когнитивную структуризацию предметной области.
- •2. Выполнить формализацию предметной области.
- •2.1. Формирование классификационных шкал и градаций
- •2.1. Формирование описательных шкал и градаций
- •3. Сформировать обучающую выборку
- •4. Осуществить синтез семантической информационной модели
- •5. Оптимизировать семантическую информационную модель
- •6. Проверить семантическую информационную модель на адекватность, измерить внутреннюю и внешнюю, дифференциальную и интегральную валидность
- •6.1. Внутренняя дифференциальная и интегральная валидность
- •6.2. Внешняя дифференциальная и интегральная валидность
- •7. Выполнить адаптацию модели и измерить, как изменилась ее адекватность
- •8. Осуществить пересинтез модели и измерить, как изменилась ее адекватность
- •9. Вывести информационные портреты текстов и дать их интерпретацию
- •10. Выполнить кластерно-конструктивный анализ модели
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения
- •1. Формализовать задачу.
- •1.1. Сконструировать классификационные шкалы и градации.
- •1.2. Сконструировать описательные шкалы и градации.
- •1.3. Сгенерируем обучающую выборку.
- •2. Осуществить синтез и верификацию (измерение адекватности) семантической информационной модели.
- •3. Провести системно-когнитивный анализ модели:
- •3.1. Решить задачи идентификации и прогнозирования.
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения
- •1. Формализовать задачу.
- •1.1. Сконструировать классификационные шкалы и градации.
- •1.2. Сконструировать описательные шкалы и градации.
- •1.3. Сгенерировать обучающую выборку.
- •2. Осуществить синтез и верификацию (измерение адекватности) семантической информационной модели.
- •3. Провести системно-когнитивный анализ модели:
- •3.1. Решить задачи идентификации и прогнозирования.
- •3.3. Провести кластерно-конструктивный анализ классов и факторов (результаты отобразить в форме семантических сетей классов и факторов).
- •3.4. Осуществить содержательное сравнение классов и факторов (результаты отобразить в форме когнитивных диаграмм классов и факторов).
- •Контрольные опросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Краткая теория
- •Задание
- •Пример решения
- •Контрольные вопросы
- •Литература по лабораторной работе
- •Часть III. Заочное обучение, самостоятельная работа студентов и подготовка к экзамену
- •3.1. Изучение дисциплины при заочной форме обучения
- •3.2.3. Примерная структура реферата, курсовой или дипломной работы и элементы научного исследования в самостоятельной работе
- •3.2.4. Методика использования репозитария uci для оценки качества математических моделей систем искусственного интеллекта
- •3.2.4.1. Постановка задачи и пути ее решения
- •3.2.4.2. Преобразование исходных данных из html-формата в промежуточные dbf- таблицы
- •3.2.4.2.1. Характеристика исходных данных
- •Общее описание задачи (файл: zoo_names.Htm):
- •Обучающая выборка (файл: zoo_data.Htm)
- •Некоторые замечания к общему описанию задачи
- •3.2.4.2.2. Этапы разработки семантической информационной модели
- •3.2.4.2.3. Формализация предметной области: разработка классификационных и описательных шкал и градаций
- •3.2.4.2.4. Подготовка и ввод обучающей выборки
- •3.2.4.3. Программный интерфейс для преобразования промежуточных dbf-файлов в базы данных системы "Эйдос"
- •3.2.4.4. Синтез семантической информационной модели
- •3.2.4.5. Оптимизация семантической информационной модели
- •3.2.4.6. Проверка адекватности семантической информационной модели
- •3.2.4.7. Анализ семантической информационной модели
- •3.2.4.4. Резюме
- •3.3. Теоретические вопросы
- •3.3.1. Вопросы, выносящиеся на экзамен по дисциплине
- •Контрольные вопросы по лекции 1
- •Контрольные вопросы по лекции 2
- •Контрольные вопросы по лекции 3
- •Контрольные вопросы по лекции 4
- •Контрольные вопросы по лекции 5
- •Контрольные вопросы по лекции 6
- •Контрольные вопросы по лекции 7
- •Контрольные вопросы по лекции 8
- •Контрольные вопросы по лекции 9
- •Контрольные вопросы по лекции 10
- •Контрольные вопросы по лекции 11
- •Контрольные вопросы по лекции 12
- •Контрольные вопросы по лекции 13
- •Контрольные вопросы по лекции 14
- •Контрольные вопросы по лекции 15
- •Контрольные вопросы по лекции 16
- •Контрольные вопросы по лабораторной работе 1
- •Контрольные вопросы по лабораторной работе 2
- •Контрольные вопросы по лабораторной работе 3
- •Контрольные вопросы по лабораторной работе 4
- •Контрольные вопросы по лабораторной работе 5
- •Контрольные вопросы по лабораторной работе 6
- •Контрольные вопросы по лабораторной работе 7
- •Контрольные опросы по лабораторной работе 8
- •Контрольные вопросы по лабораторной работе 9
- •Контрольные вопросы по лабораторной работе 10
- •3.3.2. Вопросы, относящиеся к дисциплине "иис", выносящиеся на государственный экзамен
- •3.4. Практические задания
- •Заключение
- •Литература основная литература
- •Дополнительная литература
- •Internet-сайты
- •Краткий словарь терминов по ск-анализу и системам искусственного интеллекта
Пример решения
1. Осуществить когнитивную структуризацию предметной области.
Под когнитивной структуризацией в СК-анализе понимается определение причин и следствий, факторов и состояний объекта управления, исходной информации и того, на что она влияет.
В данной лабораторной работе необходимо решить задачу идентификации текстов по входящим в них словам. Следовательно, необходимо будет сформировать обобщенные образы текстов, соответствующих определенной тематике или автору (будем считать, что сочинение принадлежит тому писателю, творчеству которого оно посвящено). Для этого в качестве объектов обучающей выборки использоваться фрагменты текстов школьных сочинений, взятые из Internet, а в качестве признаков текстов будут использоваться входящие в них слова.
Каждое сочинение разобьем случайным образом на примерно равные по размеру небольшие фрагменты, которые используем в качестве объектов обучающей выборки.
2. Выполнить формализацию предметной области.
Под формализацией предметной области понимается разработка классификационных и описательных шкал и градаций и ввод их в программную систему "Эйдос", являющуюся инструментарием СК-анализа.
2.1. Формирование классификационных шкал и градаций
В подсистеме "Классификационные шкалы и градации" введем классы, соответствующие следующим писателям: Ф.М. Достоевский; Н.В. Гоголь; А.С. Грибоедов; М.Ю. Лермонтов; А.С. Пушкин; Л.Н. Толстой; И.С. Тургенев (рисунок 152).
|
Рисунок 152. Ввод классов |
2.1. Формирование описательных шкал и градаций
Для этого исходные файлы для формирования объекты обучающей выборки должны быть средствами Word представлены в виде текстовых файлов, стандарта "Текст DOS" (без разбиения на строки).
Затем каждый из этих файлов разбивается на столько файлов, сколько в нем строк, причем имена этих файлов должны иметь вид: ####SUBSTR(File_name,4).TXT, где #### – сквозной номер файлов, соответствующий будущему номеру анкеты обучающей выборки, SUBSTR(File_name,4) – первые 4 символа имени исходного файла.
Полученные файлы должны быть помещены в поддиректорию DOB системы "Эйдос", а исходные – удалены из нее.
Это осуществляется одним из трех способов:
1. Вручную.
2. С использованием специальной программы, текст которой приводится ниже (язык программирования xBase).
3. В режиме: "Словари – Программные интерфейсы для импорта данных – Импорт данных из TXT-файлов стандарта "Текст DOS", формируем описательные шкалы и градации (рисунок 153), причем в качестве признаков выбираем слова.
Исходный текст программы записи TXT-файлов с данными по строкам
**************************************************************************
********** Разбиение текстовых файлов DOS на нумерованные файлы по строкам
********** Луценко Е.В., 03/31/04 04:24pm
**************************************************************************
scr_start=SAVESCREEN(0,0,24,79)
SHOWTIME(0,58,.T.,"rb/n")
FOR j=0 TO 24
@j,0 SAY SPACE(80) COLOR "n/n"
NEXT
********** Удаление TXT-файлов, имена которых начинаются на 0
FILEDELETE("0*.TXT")
***** РЕКОГНОСЦИРОВКА
Count = ADIR("*.TXT") && Кол-во TXT-файлов
IF Count = 0
Mess = "В текущей директории TXT-файлов не обнаружено !!!"
@15,40-LEN(Mess)/2 SAY Mess COLOR "gr+/n"
INKEY(0)
RESTSCREEN(0,0,24,79,scr_start)
SHOWTIME()
QUIT
ENDIF
PRIVATE Name[Count],Size[Count] && Имена и размеры файлов
Count = ADIR("*.txt",Name,Size)
SortData(Name,Size,LEN(Name),1) && Сортировка файлов по алфавиту
CrLf = CHR(13)+CHR(10) && Конец строки (абзаца) (CrLf)
*** Загрузка TXT-файлов
Num_pp = 0 && Номера выходных файлов
FOR f = 1 TO Count && Начало цикла по TXT-файлам
****** Загрузка файла
Buffer = FILESTR(Name[f],.T.)
Buffer = CHARONE(" ",Buffer) && Удаление повторяющихся пробелов
Buffer = Buffer + CrLf
Len = AT(CrLf,Buffer)
DO WHILE Len > 0 .AND. LASTKEY() <> 27 && Цикл по строкам
Len = AT(CrLf,Buffer)
IF Len > 0
****** Запись фрагмента файла
Str_pr = ALLTRIM(SUBSTR(Buffer,1,Len-1))
Fn_out = STRTRAN(STR(++Num_pp,4)," ","0")+SUBSTR(Name[f],1,4)+".TXT"
STRFILE(Str_pr,Fn_out)
****** Исключение из буфера записанной строки
Buffer = ALLTRIM(SUBSTR(Buffer,Len+1))
ENDIF
ENDDO
NEXT
*** Удаление исходных TXT-файлов
FOR f=1 TO Count
FILEDELETE(Name[f])
NEXT
RESTSCREEN(0,0,24,79,scr_start)
SHOWTIME()
QUIT
|
Рисунок 153. Выход на режим генерации справочников на основе текстовых файлов |
На рисунке 154 приведена экранная форма, отображающая ход процесса генерации описательных шкал и градаций и TXT-файлов, содержащих примеры текстов с разбиением по строкам.
|
Рисунок 154. Генерация описательных шкал и градаций на основе TXT-файлов |
В результате получаем классификационные и описательные шкалы и градации, приведенные в таблицах 79 и 80.
Таблица 79 – КЛАССИФИКАЦИОННЫЕ ШКАЛЫ И ГРАДАЦИИ
Код |
Наименование |
1 |
Достоевский |
2 |
Гоголь |
3 |
Грибоедов |
4 |
Лермонтов |
5 |
Пушкин |
6 |
Толстой |
7 |
Тургенев |
Таблица 80 – ОПИСАТЕЛЬНЫЕ ШКАЛЫ И ГРАДАЦИИ (фрагмент)
Код |
Наименование |
Код |
Наименование |
Код |
Наименование |
1 |
! |
41 |
Бедные |
81 |
Все |
2 |
( |
42 |
Без |
82 |
Вспомним |
3 |
(основной |
43 |
Бездушных |
83 |
Встреча |
4 |
) |
44 |
Безумным |
84 |
Всюду |
5 |
, |
45 |
Безумных |
85 |
Вы |
6 |
- |
46 |
Безухов |
86 |
Вызывают |
7 |
. |
47 |
Безухову |
87 |
Высокие |
8 |
1812 |
48 |
Белинский |
88 |
Высокопарные |
9 |
20- |
49 |
Бессильной |
89 |
Г |
10 |
30-е |
50 |
Бог |
90 |
Герой |
11 |
30-х |
51 |
Боже |
91 |
Главная |
12 |
60-х |
52 |
Болконский |
92 |
Глухость |
13 |
: |
53 |
Болконскому |
93 |
Говоря |
14 |
; |
54 |
Бордо |
94 |
Гоголь |
15 |
? |
55 |
Борис |
95 |
Гоголя |
16 |
Bcтает |
56 |
Бориса |
96 |
Годунов |
17 |
XIX |
57 |
Бородинским |
97 |
Горе |
18 |
А |
58 |
Бородинского |
98 |
Гости |
19 |
Автор |
59 |
Буянов |
99 |
Грибоедов |
20 |
Авторский |
60 |
Была |
100 |
Грибоедова |
21 |
Агрессивная |
61 |
В |
101 |
Гулливера |
22 |
Адама |
62 |
Ведь |
102 |
Да |
23 |
Александр |
63 |
Везде |
103 |
Даже |
24 |
Александра |
64 |
Век |
104 |
Дворянин-аристократ |
25 |
Алексевна |
65 |
Великий |
105 |
Действительно |
26 |
Алексеевна |
66 |
Великолепная |
106 |
Дельвигу |
27 |
Аммоса |
67 |
Вернулся |
107 |
Денисова |
28 |
Андреевич |
68 |
Взволнованный |
108 |
Дидло |
29 |
Андрей |
69 |
Взгляды |
109 |
Для |
30 |
Андрею |
70 |
Власы |
110 |
Дмитриевна |
31 |
Анной |
71 |
Вместе |
111 |
Добролюбова |
32 |
Архивам |
72 |
Внешней |
112 |
Достоевского |
33 |
Афанасьевича |
73 |
Внешние |
113 |
Драматична |
34 |
Ах |
74 |
Воды |
114 |
Друбецкого |
35 |
Базаров |
75 |
Возникает |
115 |
Другое |
36 |
Базарова |
76 |
Война |
116 |
Думы |
37 |
Базаровым |
77 |
Вообще |
117 |
Дуни |
38 |
Балы |
78 |
Вопрос |
118 |
Дуня |
39 |
Бегущим |
79 |
Вот |
119 |
Душа |
40 |
Бедность |
80 |
Время |
120 |
Евгений |
Приводится лишь фрагмент описательных шкал и градаций, т.к. размерность справочника составляет 3522 градации (т.е. слова).
