- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Извлечение информации из хранилища данных Импорт из процесса
Процесс получения данных из ХД осуществляется с помощью Мастера импорта.
Необходимо осуществить импорт данных из процесса Продажа за последние 3 месяца от даты 31.12.2004 (т.е. с 1.10.2004 по31.12.2004).
С помощью Мастера импорта выбрать источник Иванов.Формация, процесс – Продажи. Задайте, какие измерения и атрибуты из процесса должны быть импортированы (рис. 3.20).
Обратите внимание, что внутри измерения Товар.Код появилась возможность доступа к измерению Группа.Код.
Рисунок 3.20 – Задание фактов и атрибутов импорта
Определите импортируемые факты и виды их агрегаций (рис. 3.21).
Рисунок 3.21 – Выбор импортируемых фактов
Определите срезы для выбранных измерений.
Для данного примера – импорт данных из процесса Продажа за последние 3 месяца от даты 31.12.2004 (рис. 3.22).
Рисунок 3.22 – Импорт данных Продажа
Изменение цвета пиктограммы у объекта ХД на красный говорит о том, что по нему построен срез.
Для задания динамического среза (при каждом выполнении узла импорта пользователю будет выводится окно, в котором он сможет указать требуемые срезы по этому измерению).
Сценарий следующий (рис. 3.23):
Рисунок 3.23 – Задание динамического среза
Рисунок 3.24 – Результат требуемых срезов по заданному измерению
Результат (рис. 3.24) сохраните в файле L3_1.ded.
Импорт из измерения
Импорт измерений ничем не отличается от импорта процесса.
Аналогично в Мастере импорта выбирается интересующее измерение из списка доступных объектов ХД (рис. 3.25)
Рисунок 3.25 – Выбор измерений из списка доступных объектов ХД
Дальше нужно выбрать атрибуты текущего измерения, которые будут включены в выходной набор данных и связанные измерения (если существует иерархия измерений) (рис. 3.26). Для этого требуемые атрибуты или связанные измерения помечаются флажком.
Рисунок 3.26 – Выбор атрибутов
Результат импорта измерения (рис. 3.27).
Рисунок 3.27 – Результат импорта
Кубы в Deductor Warehouse
Куб – это заранее подготовленный срез из ХД с целью обеспечения быстрого доступа к ним. Каждый куб представляет собой дополнительную таблицу в ХД.
Кубы «обсчитываются» заранее и хранятся в отдельных таблицах, поэтому операция импорта из куба выполняется значительно быстрее, чем непосредственно из процесса. Кубы полезны, когда в хранилище миллионы записей, а время отклика на запрос критично и нужно его минимизировать. В этом случае выгодно настроить срез в виде куба. Недостатком подхода является то, что при любом добавлении данных в процесс куб приходится заново «пересчитывать», что требует определенного времени.
Куб
создается в Редакторе
метаданных (рис.
3.28) (на вкладке
Панель
подключений выбираем
ХД Иванов.Формация,
нажимаем кнопку
Открыть
редактор метаданных
).
Рисунок 3.28 – Создание Куба
Создадим куб Продажи за 3 дня. В Редакторе метаданных встанем на объект Кубы и нажмем кнопку Разрешить редактирование
,
а затем
Добавить.
Появится
окно выбора объектов ХД (рис.
3.29).Выбираем процесс Продажи.
На следующей вкладке установим флажки напротив измерений Дата, Отдел.Код, Группа.Код, Час, и фактов – Количество и Сумма (рис. 3.30), выбор атрибутов для импорта.
Далее для измерения Дата зададим срез последний ....3 дня от имеющихся данных (рис. 3.31).
Назовем Куб Куб.Продажи за последние 3 дня (рис. 3.32).
Теперь куб готов к работе. В сценарии при вызове Мастера импорта из хранилища помимо процесса и измерения появится возможность выбрать куб (рис. 3.33).
Имеется возможность принудительно перестроить куб. Для этого в Редакторе метаданных нужно выбрать нужный объект и в контекстном меню нажать кнопку Обновить.
Рисунок 3.29 – Выбор объектов ХД
Рисунок 3.30 – Выбор атрибутов и фактов для импорта
Рисунок 3.31 – Задание параметров среза
Рисунок 3.32 – Присвоение имени Кубу
Рисунок 3.33 – Выбор созданного Куба для обработки
Результат сохраните в файле L3_1.ded.
