- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Рассмотрим пример проектирования структуры хд
Пусть имеется история продаж товаров по дням в нескольких торговых объектах. Товары объединены в группы.
Требуется спроектировать структуру ХД.
Все данные представлены в следующих 4-х таблицах.
Для таблицы 3.1 (Товарные группы) Код групп – измерение,
Наименование группы – атрибут.
Таблица 3.1. Товарные группы
Для таблицы 3.2 (Товары) Код товара – измерение, Наименование товара – атрибут, Код группы – ссылка на одноименное измерение.
Таблица 3.2. Товары
Для таблицы 3.3 (Отделы) Код отдела – измерение, Наименование отдела – атрибут.
Таблица 3.3. Отделы
Для таблицы 3.4 (Товары) Дата – измерение, Код отдела и Код товара – измерение, Час покупки – измерение, Количество и Сумма – факты. т.е. таблица 3.4 является описанием процесса продаж в трех аптеках.
Взаимоотношение измерений, атрибутов и фактов внутри процесса продаж в трех аптеках показано на рисунке (рис. 3.3).
В силу того, что визуально можно представить только трехмерное пространство, показано взаимодействие трех измерений (Дата, Код отдела и Код товара). В рассмотренном примере измерений гораздо больше. Каждое новое может быть представлено новой осью.
Таблица 3.4. Товары
Рисунок 3.3 – Взаимоотношение измерений, атрибутов и фактов
Создание нового хранилища данных
Интерфейс проектирования структуры хранилища данных не зависит от выбранной СУБД, поэтому ХД будет создаваться на СУБД FireBird, с которым, что важно, можно работать и локально (при помощи библиотеки fbclient.dll).
Настройка подключения хранилища данных
Настройка конкретного типа подключения производится на панели Подключения. Отобразить на экране эту панель можно с помощью соответствующей команды главного меню «Вид» или кнопки
на
панели
инструментов.Добавление нового подключения производится вызовом Мастера подключений либо на панели инструментов кнопкой
,
либо с
помощью
всплывающего
меню. В результате будет запущен
Мастер
подключений,
в котором будет
доступны все
типы подключений,
поддерживаемых
системой:На следующем шаге из единственно доступного в списке типа базы данных выберем Firebird и перейдем на третий шаг Мастера (рис. 3.4). В нем зададим параметры базы данных, в которой будет создана физическая и логическая структура хранилища данных:
база данных – farma.gdb;
логин – sysdba, пароль – masterkey;
активный флажок Сохранять пароль.
Рисунок 3.4 – Задание параметров базы данных
Далее необходимо указать версию хранилища данных. Выбираем хранилище Deductor Warehouse 6 (рис. 3.5).
На следующем шаге при нажатии на кнопку
Создать
файл
базы
данных с необходимой структурой
метаданных по
указанному ранее
пути
будет создан файл farma.gdb
(появится
сообщение об успешном
создании).
Это
и есть пустое хранилище данных, готовое
к
работе.На последних двух шагах осталось выбрать визуализатор для подключения (здесь это Сведения и Метаданные) и задать имя, метку и описание для нового хранилища (рис. 3.6).
Рисунок 3.5 – Выбор хранилища Deductor Warehouse 6
Рисунок 3.6 – Выбор визуализатора подключений
После нажатия на кнопку Готово на дереве узлов подключений появится метка хранилища (рис. 3.7).
Рисунок 3.7 – Результат: появляется метка хранилища
Для проверки доступа к новому хранилищу данных воспользуйтесь кнопкой
.
Если
спустя
некоторое
время
появится
сообщение
Тестирование
соединения прошло успешно,
то хранилище готово к
работе.
Сохраните
настройки подключений, нажав на
кнопку
.
