- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Самостоятельная работа по созданию хранилища данных
Создать в Блокноте таблицы следующего содержания (табл. 3.7, 3.8)
Таблица 3.7. Отгрузка товаров (файл otgruzka.txt)
Таблица 3.8. Товары (файл tovar.txt)
Графически эти данные можно представить в многомерном пространстве следующим образом (рис. 3.34).
Рисунок 3.34 – Графическое представление исходных данных для создания ХД
Импортировать эти данные в программу (рис. 3.35).
Рисунок 3.35 – Импорт данных
Создать ХД primer.gdb.
Но сначала нужно определиться, что является процессом, фактами и измерениями (рис. 3.36).
Рисунок 3.36 – Редактирование данных
Измерения – это Товар.Код, Товар.Группа , Дата и Клиент,.
Измерение Товар.Код содержит атрибуты Наименование, Цвет, Ширина, Высота, Длина, Вес.
В каждую товарную группу входит определенное число товаров. у измерения Товар.Код добавим ссылку на измерение Товар.Группа.
Процесс – это Отгрузка товаров. Он представлен таблицей 3.1.
Измерения – это Дата, Клиент, Товар.Код.
Комбинация этих трех измерений уникально идентифицирует точку в многомерном пространстве, т.е. предполагается, что в день один товар отгружается клиенту только один раз.
Факты – это Количество, Сумма к оплате и Наценка.
Атрибуты – Номер накладной – это справочное значение к каждой записи в таблице процесса, и нет смысла его помещать в измерение.
Экспортировать данные из текстовых файлов в ХД.
Нам необходимо загрузить 4 измерения. Причем загрузка измерений должна начинаться от верхних уровней иерархии к нижним, то есть в нашем примере сначала нужно загрузить измерение Товар.Группа, и только потом – Товар.Код.
Такая последовательность работы требуется потому, что при загрузке изменения Товар.Код необходимо сразу указать Группу, к которой он относится, и эта Группа уже должна присутствовать в хранилище.
Для загрузки нужен список уникальных (неповторяющихся) значений групп. Его можно получить при помощи обработчика Группировка, указав в качестве измерения то поле, по которому мы хотим получить список уникальных значений (в данном случае – Группа) (рис. 3.37).
Рисунок 3.37 – Выставление соответствий
В сценариях становимся на Иванов.Текстовый файл tovar.txt. Мастер обработки ► Группировка. Все отметить как Неиспользуемое, кроме измерения Группа.
В сценариях становимся на Иванов.Текстовый файл tovar.txt. Мастер экспорта ► для базы primer, для измерения Товар.Группа.
Теперь мы можем загрузить измерение Товар.Код, имеющего дополнительные атрибуты.
В сценариях становимся на Иванов.Текстовый файл tovar.txt. Мастер экспорта ► для базы primer, для измерения Товар.Код.
Измерения без атрибутов Дата, Клиент можно не загружать отдельными узлами сценария, а сделать это во время загрузки в процесс.
Б) Последнее, что осталось сделать – загрузить данные в процесс (рис. 3.38).
Определить удаление данных из хранилища по измерению Дата.
Использовать опцию Способ удаления – в списке.
Определить варианты агрегации для фактов Количество, Сумма, Наценка как Сумма.
Таким образом, мы создали структуру хранилища и загрузили данные об отгрузках товара. Окончательный сценарий описанных действий, состоящий из 6 узлов, приведен на рисунке (рис. 3.39).
Рисунок 3.38 – Загрузка данных в ХД |
Рисунок 3.39 – Созданная структура хранилища |
Импортировать данные из ХД.
Импорт процесса.
Необходимо импортировать из ХД данные о количестве отгруженного товара в разрезе дат и товаров по клиенту ОАО «ССК», оставив атрибут товара Цвет.
В Мастере импорта отметить необходимые поля флажками (рис. 3.40).
Рисунок 3.40 – Выделение необходимых полей флажками
Задать статический фильтр по клиенту ОАО «ССК».
В результате будет получен набор данных следующего содержания (рис. 3.41).
Рисунок 3.41 – Результат после статической фильтрации
Импорт измерения
Необходимо импортировать из ХД
А) данные о товарах, которые продает компания (табл. 3.9);
Таблица 3.9. Товары, продаваемые компанией
Б) информацию о том, в какую группу входит тот или иной товар (табл. 3.10).
Таблица 3.10. Информация о группе товаров
Настроить куб, в котором будет храниться информация об отгрузках по клиентам за последнюю неделю (рис. 3.42).
Откроем Редактор метаданных, войдем в режим редактирования и добавим Куб. Шаги по его созданию аналогичны шагам импорта из процесса. Выберем измерения Клиент и Дата, все доступные факты и по измерению Дата настроим статический фильтр с условием последний и значением неделя от имеющихся данных.
Дадим кубу название Куб.Отгрузка за неделю. В редакторе для него стал доступен специфичная опция в виде флажка Динамическое обновление. Активный флажок говорит о том, что при попадании новых данных в процесс Куб будет автоматически пересчитываться, при этом в поле Время последнего обновления будет заноситься дата и время последнего обновления.
Рисунок 3.42 – Настройка Куба согласно условию
В результате в Мастере импорта, после выбора куба получим следующую таблицу (рис. 3.43).
Рисунок 3.43 – Результат работы Мастера импорта
Результат сохраните в файле L3_2.ded.
