- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Алгоритм авс-анализа
Определить объекты анализа (клиент, поставщик, товарная группа/подгруппа, номенклатурная единица и т.п.).
Определить параметр, по которому будет проводиться анализ объекта (средний товарный запас, объем продаж, доход, количество единиц продаж, количество заказов и т.п.).
Сортировка объектов анализа в порядке убывания значения параметра.
Для определения принадлежности выбранного объекта к группам А, В или С необходимо (рис. 5.12):
рассчитать долю параметра от общей суммы параметров выбранных объектов;
рассчитать эту долю с накопительным итогом;
присвоить значения групп выбранным объектам. Рекомендуемое распределение (рис. 5.13):
Группа А – объекты, сумма долей с накопительным итогом которых составляет первые 50 % от общей суммы параметров.
Группа В – следующие за группой А объекты, сумма долей с накопительным итогом которых составляет от 50 % до 80 % от общей суммы параметров.
Группа С – оставшиеся объекты, сумма долей с накопительным итогом которых составляет от 80 % до 100 % от общей суммы параметров.
! |
Данное распределение не является универсальным; определение объектов, параметров и долей групп должно проводиться с учетом специфики бизнеса. |
АВС-анализ – наиболее популярный метод для изучения ассортиментной политики, который можно с большим успехом применить к управлению запасами. ABC-анализ обычно используют с целью отслеживания объемов отгрузки определенных артикулов и частоты обращений к той или иной позиции ассортимента, а также для ранжирования клиентов по количеству или объему сделанных ими заказов.
Рисунок 5.12 – Сценарий для определения принадлежности выбранного объекта к группам |
Рисунок 5.13 – Результирующая таблица по АВС-анализу |
Выполнение abc-анализа
1) – Открыть новый проект в Deductor и сохранить его как L5_2.ded.
Скопируйте в Ваш рабочий каталог с данной лабораторной работой (№ 5) файл с ХД Иванов. Фармация (для того, чтобы не потерять данные из этого ХД).
Подключите к Вашему проекту ХД из рабочего каталога.
Используя Редактора метаданных (на вкладке Подключения)
очистите все данные из ХД Иванов. Фармация.
Для этого сначала в процессе Продажи удалить все данные с помощью команды Очистить из всплывающего меню. А затем повторить эти действия для всех измерений.
Импортировать в проект данные из текстовых файлов Группы товаров.txt, Отделы.txt, Продажи.txt, Товары.txt.
При помощи Мастера экспорта загрузить данные в ХД (учтите, что тип данных некоторых полей необходимо поменять на ЦЕЛЫЙ).
Сначала загружаем измерения, используя файлы Группы товаров.txt, Отделы.txt, Товары.txt.
Потом загружаем процесс из файла Продажи.txt.
Импортировать данные из хранилища Иванов.Фармация при помощи Мастера импорта вкладки Сценарий (рис. 5.14), в качестве объекта указать процесс Продажи. Импорт данных из ХД должен полностью соответствовать рисунку.
Рисунок 5.14 – Импорт данных из ХД
Используя Настройку набора данных, изменим наименования столбцов (рис. 5.15).
Рисунок 5.15 – Изменение наименования столбцов
Используя обработчик Фильтр (из Мастера обработки) оставляем все данные, кроме тех, что относятся к последнему месяцу. Это позволяет
получить данные за зимние месяцы (декабрь, январь, февраль), что необходимо нам для выполнения ABC-анализа (рис. 5.16).
Рисунок 5.16 – Настройка условий фильтрации
Получим сумму продаж за нужный период по каждому товару. Для этого используем обработку Группировка (рис. 5.17).
Рисунок 5.17 – Настройка обработки Группировка
Группировку выполняем по факту Сумма, используя в качестве
измерения столбец Код товара. Результат обработки рис. 5.18.
Столбец Наименование товара устанавливаем как факт, выбрав
Минимум в качестве метода агрегации.
Рисунок 5.18 – Результат обработки Группировка
Отсортируем полученные данные в порядке убывания суммы. (Обработчик Сортировка) (рис. 5.19):
Рисунок 5.19 – Сортировка по убыванию суммы
Рассчитаем долю выручки от продаж каждого товара в общей сумме. Для этого используем обработчик Калькулятор.
Доля от общей суммы вычисляется по формуле (рис. 5.20):
Part Sumi 100 ,
Sumi
i
где Sumi - сумма квартальных продаж i-го товара.
Для вычисления общей суммы
Sumi
(суммарного значения) продаж
следует воспользоваться формулой STAT:
