- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Stat("ИмяСтолбца";"Тип")
Рисунок 5.20 – Параметры поля Выражение
Функция возвращает одну из статистических характеристик данных.
Тип может принимать одно из следующих значений: Min – минимальное значение; Max – максимальное значение; Avg – среднее значение; StdDev – стандартное отклонение; Sum – сумма значений; SumSq – сумма квадратов значений; Count – количество значений; UniqueCount – количество уникальных значений; NullCount – количество пропущенных значений; Параметры: ИмяСтолбца – столбец, по которому необходимо получить элемент статистики; Тип – тип статистики, который необходимо получить.
Вычисления выполняем в поле Выражение, предварительно задав округление значения до 2-х знаков (функция Round) (рис. 5.21)
Получаем в результате Таблицу (рис. 5.22):
Рассчитаем долю с накопительным итогом, воспользовавшись обработчиком Калькулятор. Доля с накопительным итогом вычисляется по формуле:
𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖 = 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖−1 + 𝑃𝑃𝐶𝐶𝑃𝑃𝐶𝐶𝑖𝑖,
где 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖 – доля с накопительным итогом для i-го товара;
𝑃𝑃𝐶𝐶𝑃𝑃𝐶𝐶𝑖𝑖 – доля от общей суммы для i-го товара.
В обработчике «Калькулятор» для вычисления доли с накопительным
итогом есть специальная функция CUMULATIVESUM (рис. 5.23):
CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
Функция возвращает накапливающуюся сумму по столбцу.
Рисунок 5.21 – Выполнение вычислений при помощи обработчика Калькулятор
Рисунок 5.22 – Результирующая таблица
Рисунок 5.23 – Применение функции CUMULATIVESUM
Параметры:
Имя Поля – поле, по которому необходимо получить накапливающуюся сумму
Имя Поля Группы – поле, по которому происходит группировка данных. Этот параметр не является обязательным. Если этот параметр указан, то накапливающиеся суммы считаются в пределах групп.
Вычисления выполняем в поле Выражение, предварительно задав параметры выражения (рис. 5.24).
Рисунок 5.24 – Применение встроенных функций
Получаем результат в таблице (рис. 5.25):
Рисунок 5.25 – Результат в таблице
Присвоить значение группы каждому товару по следующей схеме:
Если 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖 < 75, то это группа A; Если 75 ≤ 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖 < 90, то это группа B; Если 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝑖𝑖 ≥ 90, то это группа C;
Параметры калькулятора отображены ниже (для добавления выражения
калькулятора
в сценарий используйте кнопку
).
Для возвращения номера текущей записи источника данных воспользуйтесь функцией RowNum() (рис. 5.26):
Рисунок 5.26 – Задание параметров выражения
Рисунок 5.27 – Применение функции RowNum()
Результат отображаем в виде Таблицы, Куба и Диаграммы
(используйте Мастер визуализации) (рис. 5.28).
Рисунок 5.28 – Выбор Мастера визуализации
Настройка параметров Диаграммы (рис. 5.29).
Рисунок 5.29 – Настройка столбцов диаграммы
Настройка параметров Куба (рис. 5.30).
Рисунок 5.30 – Настройка параметров полей Куба
В отчете нас интересует только Группа и Наименование товаров,
имеющих соответствующую группу. Поэтому:
– столбец Группа отмечаем как измерение;
– Наименование товаров отмечаем как факт;
столбцы Сумма и Порядковый номер – неиспользуемое;
остальные помечаем как информационные.
Группу как единственное измерение помещаем в строки кросс-таблицы (рис. 5.31), а в качестве фактов (рис. 5.32) используем параметр Количество.
Рисунок 5.31 – Настройка параметров размещения измерений
Рисунок 5.32 – Выбор отображения фактов
Результаты приведены на рис. 5.33, рис. 5.34, рис. 5.35.
Рисунок 5.33 – Таблица
Рисунок 5.34 – Диаграмма
Рисунок 5.35 – Куб
Сохраните результаты работы в файле L5_2.ded.
