- •Конспект по курсу «Информационные интеллектуальные системы»
- •1. Введение
- •3. Общение с иис на естественном языке
- •3.1. Проблема диалогового общения
- •3.2. Ограниченный естественный язык. Синтаксис, семантика, словари
- •3.3. Ограниченный естественный язык. Грамматики
- •3.4. Методы интерпретации естественного языка
- •3.6. Пример: диалоговая система управления процессом сборки редуктора.
- •3.5. Пример лингвистической обработки сообщений
- •Обработка вВод вывод
- •4. Обработка информации в иис
- •4.1. Виды, задачи, источники информации
- •4.2. Уровни обработки данных в иис
- •4.3. Слияние информации и принятие решений
- •4.4. Сегментация и классификация
- •4.5. Проблема распознавания речи
- •4.6. Проблема распознавания лиц
- •4.7. Проблема распознавания трехмерных объектов
- •4. Получение знаний
- •4.1. Извлечение знаний
- •4.2. Автоматическое формирование знаний (Обучение)
- •5.2. Раскопка данных и раскрытие знаний
- •Основные понятия интеллектуального анализа данных
- •Постановка задачи
- •Подготовка данных
- •Просмотр данных
- •Построение моделей
- •Исследование и проверка моделей
- •Развертывание и обновление моделей
- •Алгоритмы интеллектуального анализа данных
- •Алгоритм дерева принятия решений (Microsoft)
- •Упрощенный алгоритм Байеса (Microsoft)
- •Алгоритм кластеризации (Microsoft)
- •Алгоритм нейронной сети (Microsoft)
- •Алгоритм логистической регрессии (Microsoft)
- •Алгоритм временных рядов (Microsoft)
- •Алгоритм кластеризации последовательностей (Microsoft)
- •Алгоритм взаимосвязей (Microsoft)
- •5.3. Пример прогнозирования продаж автомобилей
- •4.1. Раскрытие данных. (Data Mining)
- •6. Получение знаний в иис
- •6.1. Проблема обучения машин
- •6.2. Методы обучения в иис
- •6.3. Экспертное (копирующее) обучение
- •6.4. Обучение с подкреплением
- •6.5. Пример управления роботом-уборщиком
- •Использование знаний в иис
- •7.1. Управление знаниями
- •7.2. Знания в Интернете и поиск
- •7.3. Онтологии и поиск Веб-источников
- •7.4. Раскопка Веб-сайтов
- •8. Многоагентные иис
- •8.1. Системы с интеллектуальными агентами на правилах
- •8.2. Системы с интеллектуальными агентами на логике
- •8.3. Системы с когнитивными агентами
- •9. Когнитивные системы
- •Когнитивный подход в психологии и машинном интеллекте
- •Нейрологические средства управления.
- •Реализация базовых нейрологических модулей
- •Когнитивные нейрологические системы управления и агенты.
- •Список литературы (по главе 9)
Просмотр данных
Третьим шагом процесса интеллектуального анализа данных, как видно из диаграммы, является просмотр подготовленных данных.
Для принятия правильных решений при создании моделей необходимо понимать данные. Методы исследования данных включают в себя расчет минимальных и максимальных значений, расчет средних и стандартных отклонений и изучение распределения данных. После исследования данных можно определить, содержит ли набор данных дефектные данные или нет, а затем разработать стратегию по устранению несоответствий.
Конструктор представлений источников данных в среде BI Development Studio содержит несколько средств, которые можно использовать для просмотра данных.
Построение моделей
Четвертым шагом процесса интеллектуального анализа данных, является построение моделей интеллектуального анализа данных.
Прежде чем построить модель, необходимо случайным образом разделить подготовленные данные в отдельные наборы обучающих и контрольных данных. Набор обучающих данных используется для построения модели, а контрольный набор данных — для проверки точности модели путем создания прогнозирующих запросов. Чтобы разделить набор данных, можно использовать Преобразование «Процентная выборка» в службах Integration Services.
Знания, полученные в результате выполнения шага «Просмотр данных», помогут определить и создать модель интеллектуального анализа данных. Обычно модель содержит входные столбцы, идентифицирующий столбец и прогнозируемый столбец.
После определения структуры модели интеллектуального анализа данных выполняется ее обработка и наполнение пустой структуры шаблонами, описывающими модель. Данный процесс известен как обучение модели. Шаблоны выявляются путем применения в отношении исходных данных математического алгоритма. SQL Server 2005 содержит отдельный алгоритм для каждого типа модели, доступной для построения. Для настройки каждого алгоритма можно использовать параметры.
Модель интеллектуального анализа данных определяется объектом структуры интеллектуального анализа данных, объектом модели интеллектуального анализа данных и алгоритмом интеллектуального анализа данных.
В состав служб Microsoft SQL Server 2005 Analysis Services (SSAS) входят следующие алгоритмы:
Алгоритм дерева принятия решений (Microsoft)
Алгоритм кластеризации (Microsoft)
Упрощенный алгоритм Байеса (Microsoft)
Алгоритм взаимосвязей (Microsoft)
Алгоритм кластеризации последовательностей (Microsoft)
Алгоритм временных рядов (Microsoft)
Алгоритм нейронной сети (Microsoft) (службы SSAS)
Алгоритм логистической регрессии (Microsoft)
Алгоритм линейной регрессии (Microsoft)
Детальное описание данных алгоритмов будет произведено ниже.
Исследование и проверка моделей
Пятым шагом процесса интеллектуального анализа данных, как видно из диаграммы, является исследование построенных моделей и проверка их эффективности.
Прежде чем развернуть модель в рабочей среде, необходимо проверить эффективность работы модели. Кроме того, возможно, было создано несколько моделей, и необходимо выяснить, какая из них наиболее эффективна. Если ни одна из моделей, созданных в результате выполнения шага «Построение модели», не обладает нужной эффективностью, то может возникнуть необходимость вернуться к предыдущему шагу процесса и либо изменить определение проблемы, либо выполнить повторное изучение данных в исходном наборе данных.
Тренды и шаблоны, обнаруживаемые алгоритмами, можно исследовать при помощи средств просмотра в конструкторе интеллектуального анализа данных в среде BI Development Studio. Точность прогнозов, создаваемых моделями, можно проверить при помощи таких средств конструктора, как диаграмма точности предсказаний и матрица классификации. Для этих средств требуются контрольные данные, выделенные из исходного набора данных во время выполнения шага построения модели.
