- •Конспект по курсу «Информационные интеллектуальные системы»
- •1. Введение
- •3. Общение с иис на естественном языке
- •3.1. Проблема диалогового общения
- •3.2. Ограниченный естественный язык. Синтаксис, семантика, словари
- •3.3. Ограниченный естественный язык. Грамматики
- •3.4. Методы интерпретации естественного языка
- •3.6. Пример: диалоговая система управления процессом сборки редуктора.
- •3.5. Пример лингвистической обработки сообщений
- •Обработка вВод вывод
- •4. Обработка информации в иис
- •4.1. Виды, задачи, источники информации
- •4.2. Уровни обработки данных в иис
- •4.3. Слияние информации и принятие решений
- •4.4. Сегментация и классификация
- •4.5. Проблема распознавания речи
- •4.6. Проблема распознавания лиц
- •4.7. Проблема распознавания трехмерных объектов
- •4. Получение знаний
- •4.1. Извлечение знаний
- •4.2. Автоматическое формирование знаний (Обучение)
- •5.2. Раскопка данных и раскрытие знаний
- •Основные понятия интеллектуального анализа данных
- •Постановка задачи
- •Подготовка данных
- •Просмотр данных
- •Построение моделей
- •Исследование и проверка моделей
- •Развертывание и обновление моделей
- •Алгоритмы интеллектуального анализа данных
- •Алгоритм дерева принятия решений (Microsoft)
- •Упрощенный алгоритм Байеса (Microsoft)
- •Алгоритм кластеризации (Microsoft)
- •Алгоритм нейронной сети (Microsoft)
- •Алгоритм логистической регрессии (Microsoft)
- •Алгоритм временных рядов (Microsoft)
- •Алгоритм кластеризации последовательностей (Microsoft)
- •Алгоритм взаимосвязей (Microsoft)
- •5.3. Пример прогнозирования продаж автомобилей
- •4.1. Раскрытие данных. (Data Mining)
- •6. Получение знаний в иис
- •6.1. Проблема обучения машин
- •6.2. Методы обучения в иис
- •6.3. Экспертное (копирующее) обучение
- •6.4. Обучение с подкреплением
- •6.5. Пример управления роботом-уборщиком
- •Использование знаний в иис
- •7.1. Управление знаниями
- •7.2. Знания в Интернете и поиск
- •7.3. Онтологии и поиск Веб-источников
- •7.4. Раскопка Веб-сайтов
- •8. Многоагентные иис
- •8.1. Системы с интеллектуальными агентами на правилах
- •8.2. Системы с интеллектуальными агентами на логике
- •8.3. Системы с когнитивными агентами
- •9. Когнитивные системы
- •Когнитивный подход в психологии и машинном интеллекте
- •Нейрологические средства управления.
- •Реализация базовых нейрологических модулей
- •Когнитивные нейрологические системы управления и агенты.
- •Список литературы (по главе 9)
Алгоритм кластеризации последовательностей (Microsoft)
Алгоритм кластеризации последовательностей (Microsoft) представляет собой алгоритм анализа последовательностей, обеспечиваемый службами Microsoft SQL Server 2005 Analysis Services (SSAS). Данный алгоритм можно использовать для исследования данных, содержащих события, которые могут быть связаны следующими путями, иначе именуемыми последовательностями. Алгоритм находит самые распространенные последовательности, выполняя группирование или кластеризацию идентичных последовательностей. Данные последовательности могут принимать различные формы, включая:
Данные, описывающие переходы пользователя в пределах веб-узла.
Данные, которые описывают порядок, в котором клиент добавляет в корзинку товары, выбранные в Интернет-магазине.
Алгоритм похож на «лгоритм кластеризации (Microsoft)» Однако вместо поиска кластеров вариантов, содержащих похожие атрибуты, алгоритм кластеризации последовательностей (Microsoft) находит кластеры вариантов, содержащие похожие пути в последовательности.
Модель интеллектуального анализа данных, создаваемая данным алгоритмом, содержит описания самых распространенных последовательностей в данных. Данные описания можно использовать для прогнозирования следующего вероятного шага в новой последовательности. При создании кластера записей алгоритм также может учитывать такие столбцы в данных, которые не связаны непосредственно с последовательностями. Поскольку алгоритм включает несвязанные столбцы, можно использовать итоговую модель для определения связей, существующих между данными, включенными в последовательность, и данными, не включенными в последовательность.
Пример
Веб-узел компании Adventure Works собирает сведения о страницах, посещаемых пользователями узла, и о порядке посещения таких страниц. Поскольку компания предоставляет возможность заказа через сеть Интернет, клиентам необходимо зарегистрироваться на узле. Благодаря этому с каждым щелчком мыши клиента компания получает сведения о действиях в рамках узла, выполняемых под клиентским профилем. Применив в отношении таких данных алгоритм кластеризации последовательностей (Microsoft), компания может найти группы или кластеры клиентов, для которых характерны похожие шаблоны или последовательности щелчков. Компания затем может использовать данные кластеры для анализа перемещения пользователей в рамках веб-узла, определения страниц, которые ближе всех связаны с продажей конкретного продукта, а также прогнозирования страниц, которые клиент с наибольшей долей вероятности посетит в следующий раз.
Принцип работы алгоритма
Для определения кластеров и их последовательностей алгоритм использует метод кластеризации, называемый методом максимизации ожидания (EM). Это означает, что для определения вероятности существования точки данных в кластере алгоритм использует вероятностный метод.
Один из входных столбцов, используемых алгоритмом кластеризации последовательностей (Microsoft), является вложенной таблицей, содержащей данные последовательности. Такие данные представляют собой ряд преобразований состояний конкретных вариантов в наборе данных, например приобретенные товары или щелчки на веб-узле. Чтобы определить, какие столбцы последовательности следует считать входными столбцами для кластеризации, алгоритм измеряет различия или расстояния между всеми возможными последовательностями в наборе данных. После измерения таких расстояний алгоритм сможет использовать столбец последовательности в качестве ввода для EM-метода кластеризации.