- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
Розничная сеть по продаже бытовой химии поставила задачу анализа покупательских корзин для оптимизации их размещения на витринах и проведения кросс-продаж. Отдел маркетинга предоставил 5 000 чеков,
в которых отражены покупки, сделанные предыдущими клиентами магазинов. Стоят следующие задачи:
предсказать, какие товары покупатели могут выбрать в зависимости от того, что уже есть в их корзинах;
выявить наиболее популярные товарные наборы, состоящие из более чем 1 предмета;
предложить рекламные акции типа «Каждому купившему A и B
товар C в подарок».
Импортируйте в новый проект файл Чеки.txt.
Поле ID (идентификатор транзакции) – это номер чека или код клиента.
А поле ITEM (элемент транзакции) – это наименование товара в чеке.
Оба поля (идентификатор и элемент транзакции) должны быть дискретного вида.
К узлу импорта добавим обработчик Ассоциативные правила. Столбец ID сделаем идентификатором транзакции, а ITEM – ее элементом (рис. 9.1)
Рисунок 9.1 – Назначение исходных столбцов данных
Настроить параметры построения ассоциативных правил (параметры алгоритма a priori) (рис. 9.2).
Рисунок 9.2 – Настройка параметров построения ассоциативных правил
Здесь для изменения доступны следующие параметры:
Минимальная и максимальная поддержка в % – ограничивают пространство поиска часто встречающихся предметных наборов. Эти границы определяют множество популярных наборов, из которых и будут создаваться ассоциативные правила;
Минимальная и максимальная достоверность в % – в результирующий набор попадут только те ассоциативные правила, которые удовлетворяют условиям минимальной и максимальной достоверности;
Максимальная мощность искомых часто встречающихся множеств – параметр ограничивает длину k-предметного набора. Например, при установке значения 4 шаг генерации популярных наборов будет остановлен после получения множества 4-предметных наборов. В конечном итоге это позволяет избежать появления длинных ассоциативных правил, которые трудно интерпретируются.
Пока оставим все настройки на данной вкладке по умолчанию.
Нажатие на кнопку Пуск приведет к работе алгоритма поиска ассоциативных правил. По окончании его работы справа в полях появится следующая информация (рис. 9.3):
Количество множеств – число популярных наборов, удовлетворяющих заданным условиям минимальной поддержки и достоверности;
Количество правил – число сгенерированных ассоциативных правил.
Рисунок 9.3 – Результат алгоритма a priori
Далее выбираем все доступные специализированные визуализаторы (Правила, Популярные наборы, Дерево правил, Что-если) и визуализатор Таблица.
Все эти визуализаторы, кроме Что-если, отображают результаты работы алгоритма в различных формах.
На вкладке Популярные наборы, как следует из названия, отображается множество найденных популярных предметных наборов в виде списка.
Кнопка
предлагает
на
выбор
несколько
вариантов
сортировки
списка, а кнопка
вызывает окно настройки фильтра
множеств.
Например, задав в фильтре минимальное значение поддержки 6 % и
отсортировав их по убыванию поддержки, получим следующие
16 популярных наборов. Параметр Мощность указывает на количество товаров в одном наборе (рис. 9.4).
На вкладке Дерево правил предлагается еще один удобный способ отображения множества ассоциативных правил, которое строится либо по условию, либо по следствию. При построении дерева правил по условию, на первом (верхнем) уровне находятся узлы с условиями, а на втором уровне – узлы со следствием. В дереве, построенном по следствию, наоборот, на первом уровне располагаются узлы со следствием.
Рисунок 9.4 – Использование фильтра минимальной поддержки
Справа от дерева расположен список правил, построенный по выбранному узлу дерева (рис. 9.5).
Рисунок 9.5 – Список правил выбранного узла
Для каждого правила отображаются поддержка, достоверность и лифт. Если дерево построено по условию, то вверху списка отображается условие правила, а список состоит из его следствий. Тогда правила отвечают на
вопрос, что будет при таком условии. Если же дерево построено по следствию, то вверху списка отображается следствие правила, а список состоит из его условий.
Эти правила отвечают на вопросы, что нужно, чтобы было заданное следствие или какие товары нужно продать для того, чтобы продать товар из следствия.
На вкладке Правила помимо самих ассоциативных правил приводятся их основные расчетные характеристики: поддержка, достоверность и лифт. На рисунке показаны ассоциативные правила, отсортированные по убыванию лифта (рис. 9.6).
Рисунок 9.6 – Сортировка ассоциативных правил по убыванию лифта
Поэкспериментируйте с настройкой фильтра в визуализаторах Правила, Популярные наборы и Дерево правил.
