- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
Постройте кросс-таблицу и кросс-диаграмму по трем измерениям (Отдел, Дата, Группа) (рис. 4.26), в ячейках которой отображается стоимость (сумма) и количество проданной продукции за все периоды, данные по которым имеются в ХД. Определите, какая Аптека и какая Группа дает наибольшую сумму продаж.
То же за последние 3 месяца, данные по которым имеются в ХД (рис. 4.27а, б).
То же за последние 3 недели по имеющимся данным (рис. 4.28а, б).
Найдите максимальную и среднюю суммы покупки по каждой Аптеке за последнюю неделю по имеющимся данным и посмотреть детализацию информации по Аптеке1 в 1-й день недели (Понедельник) (рис. 4.29).
Рисунок 4.26 – Данные по продажам (три измерения), которые имеются в ХД
Рисунок 4.27а – Данные по продажам (за последние 3 месяца), которые имеются в ХД
Рисунок 4.27б – Данные по продажам (за последние 3 месяца), которые имеются в ХД
Рисунок 4.28а – Данные по продажам (за последние 3 недели), которые имеются в ХД
Рисунок 4.28б – Данные по продажам (за последние 3 недели), которые имеются в ХД
Рисунок 4.29 – Нахождение максимальной и средней суммы покупки
Результаты работы сохранить в файле L4_1.ded.
Вопросы для проверки
Что такое OLAP?
Принцип сохранения конфигураций?
Настройки, необходимые при добавлении в хранилище данных?
Какой недостаток использования Куба в хранилище данных?
6. Как принудительно перестроить Куб?
5. Формирование срезов по заданным данным?
Что представляет собой Кросс-таблица?
Как сделать скрытое измерение участвующим в построении таблицы?
Для чего необходимо транспонирование таблицы?
Какие бывают Способы агрегации фактов в кросс-таблице?
Что такое Селектор?
Лабораторная работа № 5
OLAP-АНАЛИЗ. АНАЛИТИЧЕСКАЯ ОТЧЕТНОСТЬ АПТЕЧНОЙ СЕТИ
Узел Калькулятор
Калькулятор предназначен для добавления в набор данных новых полей, которые рассчитываются по определенным правилам на основе столбцов данных и встроенных функций.
Обработчик Калькулятор находится в группе узлов Прочее мастера обработки. Вся настройка осуществляется в окне мастера Конструктор выражения (рис. 5.1).
Рисунок 5.1 – Узел Калькулятор
1) Создайте новый проект. Импортируйте в него текстовый файл
CreditSample.txt.
Обработчик Калькулятор находится в группе узлов Прочее Мастера обработки. Вся настройка осуществляется в окне мастера Конструктор выражения.
Области узла Калькулятор:
– Область списка вычисляемых выражений. Каждое вычисляемое выражение будет новым столбцом в результирующем наборе данных (окно Список выражений).
– Формула, по которой будет рассчитываться выражение (окно
Выражения).
– Список всех существующих столбцов текущего набора данных, состоящих из имен и меток (вкладка Поля).
– Вкладка Функции открывает вкладку со списком встроенных функций.
– Вкладка Операции открывает вкладку со списком доступных арифметических, логических и других операций.
Область списка вычисляемых выражений изначально содержит одно пустое выражение. Двойным щелчком мыши на имени выражения в списке вызывается Диалог редактирования параметров выражения (рис. 5.2).
Рисунок 5.2 – Область списка вычисляемых выражений
Имя – строка, которая будет служить идентификатором столбца в процедурах обработки.
Метка – метка нового столбца.
Тип данных – тип данных вычисляемого выражения.
Описание – произвольная информация, описывающая вычисляемое выражение.
Выражение можно ввести вручную с клавиатуры, однако удобнее выбирать функции, переменные и знаки операций с помощью мыши. Для
добавления в формулу функций следует справа выбрать вкладку Функции.
Все функции в ней сгруппированы по видам (рис. 5.3).
Чтобы ввести функцию в выражение, достаточно дважды щелкнуть по ее имени в списке, либо, удерживая, перетащить ее курсором мыши в нужную область формулы. Имя функции в выражении появляется вместе со скобками, куда следует ввести аргумент или аргументы.
Имена полей удобно вводить с помощью двойного щелчка в списке полей. Если в аргументе несколько полей, то их имена разделяются точкой с запятой.
Рисунок 5.3 – Ввод функции в выражение
Даты в формате ДД.ММ.ГГ, обязательно указываемые в кавычках. Такой способ ввода даты, хотя и допускается, но может оказаться не переносимым между разными компьютерами. По этой причине лучше использовать функцию STRTODATE().
В окне Ввода выражения можно вывести подсказку – комбинация клавиш Ctrl+пробел.
При создании формул при разработке сценариев очень часто используются функции IF и IFF.
Узел Калькулятор имеет следующее правило работы: при возникновении любой ошибки в расчете значения записи в рассчитываемое поле заносится значение null (пустое значение), и сообщение об ошибке не выдается.
Функция |
Описание |
IF (Условие; Значение1; Значение2) |
Возвращает Значение1, если Условие истинно или Значение2, если Условие ложно. Результат функции имеет строковый тип. |
IFF (Условие; Значение1; Значение2) |
Возвращает Значение1, если Условие истинно или Значение2, если ложно. Результат функции может иметь любой тип. |
