- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Добавление новых данных в хд
Часто необходимо добавить к данным, уже хранящимся в ХД, новые данные.
Открыть новый проект в Deductor и сохранить его как L4_1.ded.
Импортировать данные из хранилища Иванов.Фармация при помощи Мастера импорта вкладки Сценарий, в качестве объекта указать процесс Продажи. Импорт данных из ХД должен полностью соответствовать рисунку (рис. 4.1).
Рисунок 4.1 – Импорт из ХД
Необходимо добавить в ХД информацию по продажам за 2004–2009 года, хранящуюся в файле sales1.txt (рис. 4.2).
Используя Мастер импорта импортируем текстовый файл sales1.txt в проект. На шаге Изменения параметров столбцов необходимо изменить тип данных на целый в столбцах Товар.Код, Отдел.Код, Количество, Час покупки (то же делали в Лабораторной работе №3).
Используя Мастер экспорта поместим эти данные в ХД
Иванов.Фармация в процесс Продажи.
Выбираем измерение Дата, как измерение, по которому нужно удалить данные из ХД.
Для фактов определяем варианты агрегации – сумма.
! |
Процесс загрузки займет некоторое время. |
Рисунок 4.2 – Импорт файла sales1.txt
Для узла Иванов,Формация: Продажи (используя контекстное меню – правая клавиша мыши) выбираем пункт Перечитать данные. Сценарий представлен на рис. 4.3.
Рисунок 4.3 – Сценарий для заданного узла
В результате получаем таблицу с данными с 2004 по 2009 года.
Получение olap-отчетов
Необходимо получить отчеты:
по объемам продаж за последние четыре месяца по товарным группам;
по каждой аптеке за каждый месяц.
Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
Определяем срезы для выбранных измерений и атрибутов. В данном случае нас интересуют данные за последние два месяца от имеющихся данных.
Для узла Иванов,Фармация: Продажи выбираем кнопкой
Настроить узел.
И на шаге Определить срезы для выбранных измерений и атрибутов
настраиваем измерение Дата (рис. 4.4).
Рисунок 4.4 – Определение срезов для выбранных атрибутов и измерений
Таблица, которая была получена при импорте данных из хранилища, имеет слишком сложные (многоуровневые) заголовки, поэтому для большего удобства работы, мы их изменим. Для этого используем Мастер обработки Настройка набора данных. Меняем метки столбцов на одноуровневые (без символа «|» в заголовке) (рис. 4.5).
Полученная таблица имеет вид (рис. 4.6):
В нашем распоряжении имеется только измерение Дата, а для построения OLAP-отчета требуется отдельные измерения Месяц и Год. Их можно извлечь из даты, применив к узлу Настройка набора данных обработчик Дата и время (рис. 4.7).
Рисунок 4.5 – Изменение наборов параметров
Рисунок 4.6 – Полученная таблица для дальнейшей обработки
Рисунок 4.7 – Применение обработчика Дата и время
В качестве способа отображения выбираем Куб. Выполняем настройку измерений куба. В качестве столбца будем использовать измерение Наименование товара, а в качестве строк – Дата (Год) и Дата (Месяц) (рис. 4.8).
В качестве фактов используем Сумма и Количество в представлении
Сумма (рис. 4.9).
Рисунок 4.8 – Настройка столбцов и строк в качестве доступных измерений
Рисунок 4.9 – Настройка фактов отображения
В результате получаем многомерный отчет, содержащий информацию о сумме продаж и числу проданных единиц препаратов в месяц в каждом филиале аптечной сети за указанный период (рис. 4.10).
Рисунок 4.10 – Многомерный отчет
Полученный сценарий представлен на рис. 4.11.
Рисунок 4.11 – Сценарий в результате обработки
