- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Вопросы для проверки
Какая схема реляционного ХД используется в Deductor Warehouse?
Перечислите объекты хранилища Deductor Warehouse и дайте их определения.
Чем отличается атрибут процесса от измерения?
Как должна выглядеть структура таблицы-справочника, если имеются иерархии?
Что нужно сделать, если в приведенном примере выбранный уровень детализации продаж по дням не устраивает – необходимо сохранить максимальную детализацию исходных данных?
Что такое Редактор метаданных в Deductor Studio?
Как создать новое пустое хранилище данных?
Как сделать иерархию измерений?
Какие типы данных могут быть у объектов хранилища Deductor Warehouse 6?
Какова последовательность загрузки информации в хранилище?
В каких случаях измерение можно не загружать отдельным узлом экспорта?
Какие предусмотрены способы контроля непротиворечивости данных в Deduct or Warehouse?
Какие срезы для измерений типа дата/время предусмотрены в
Deductor Warehouse 6?
Что такое пользовательский фильтр?
Кому динамический срез, вероятнее всего, чаще будут требоваться –
аналитику Deductor Studio или пользователю Deductor Viewer?
Что такое куб в Deductor Warehouse 6?
Как создать куб?
Как настроить автоматическое обновление куба при попадании в хранилище новых данных?
Как проверить, актуален ли куб?
Как очистить значения процесса?
Как очистить значения измерения?
Как сделать полную очистку хранилища данных?
Как удалить измерение полностью из хранилища данных? Только из определенного процесса хранилища данных?
Как добавить измерение в процесс? Какие сложности при этом возникают?
Как добавить факт в процесс?
Лабораторная работа № 4
МЕХАНИЗМЫ МНОГОМЕРНОГО ХРАНЕНИЯ И ВИЗУАЛИЗАЦИИ. OLAP-ОТЧЕТЫ
OLAP (Online Analytical Processing) – простой и наглядный метод проведения анализа. Любые измерения и факты можно компоновать произвольным способом в многомерном представлении. Все действия выполняются «на лету» причем быстро и интуитивно понятно.
Для такого OLAP-анализа в составе модулей системы Deductor имеются все необходимые инструменты: многомерное хранилище (Deductor Warehouse) и механизм визуализации (OLAP-куб).
Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
Кросс-таблица – отображение данных в виде кросс-таблицы с возможностью произвольного размещения измерений.
Кросс-диаграмма – кросс-диаграмма, автоматически строящаяся на данных кросс-таблицы, с возможностью выбора типа графика: столбчатые, линейные, круговые, области.
Фильтрация – удобная фильтрация данных «на лету» по любому измерению
Детализация – детализация данных по любой ячейке или области в кросс-таблице.
Сортировка – сортировка данных в таблице по любому факту или комбинации фактов.
Лучшие-худшие – выбор лучших и худших по произвольному измерению, фильтрация по любому факту.
Сохранение конфигураций – сохранение в одном кубе нескольких способов размещения и фильтрации с возможностью быстрого переключения между ними.
Для иллюстрации концепции OLAP-куба будем рассматривать пример ХД Иванов.Формация из лабораторной работы №3 (продажа лекарств в компании, имеющей три аптеки).
