- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Задание
Создайте новое поле Дата обработки, значения в котором равны текущей дате.
Вызовите узел Калькулятор и заполните соответствующие поля в окне
Параметры выражения (рис. 5.4).
Рисунок 5.4 – Узел Калькулятор
В окне Выражения, используя вкладку Функции, поместите функцию
Today() – возвращает текущую дату (рис. 5.5).
Поместите в таблице столбец Дата обработки на первое место (рис. 5.6).
Рисунок 5.5 – Применение функции Today()
Рисунок 5.6 – Помещение столбца Дата обработки на первое место в таблице
Создайте новое поле Размер ссуды у.е., который рассчитывается делением на 30 поля Размер ссуды, руб. Все значения в новом поле должны быть округлены до второго знака (рис. 5.7).
Рисунок 5.7 – Создание нового поля Размер ссуды
Создайте новое поле Флаг, значение в котором истинно (Тrue), если выполняется условие: Среднемесячный доход > 2000 и Наличие недвижимости = True (рис. 5.8):
Рисунок 5.8 – Создание нового поля Флаг
Создайте еще один столбец (рис. 5.9), значение в котором равно 1, если выполняется условие:
Флаг = TRUE и Давать кредит = FALSE.
Создайте новое поле RATE (рис. 5.10), в котором хранится значение в поле Срок ссуды, возведенное в степень 0,6.
Создайте новое поле Сегмент (рис. 5.11), которое делит всех заемщиков на сегменты по следующим правилам:
а) ЕСЛИ Возраст >= 50 и Среднемесячный доход < 6000 ТО Сегмент = Сегмент 1;
б) ЕСЛИ Возраст < 30 ТО Сегмент = Сегмент 2;
в) Сегмент = Сегмент 3 во всех остальных случаях, не удовлетворяющим п. а) и б).
Рисунок 5.9 – Создание еще одного столбца значение в котором равно 1 при заданном условии
Рисунок 5.10 – Создание нового поля RATE
Рисунок 5.11 – Создание поля Сегмент
Сохраните результаты в файле L5_1.ded.
Проведение abc-анализа
Суть метода
ABC-анализ – метод, позволяющий классифицировать ресурсы компании по степени их важности и прибыльности.
В его основе лежит Принцип Парето: 20 % всех товаров дают 80 % оборота. По отношению к ABC-анализу Принцип Парето может прозвучать так: надёжное наблюдение за 20
% позиций позволяет на 80% контролировать систему, будь то запасы сырья и комплектующих, продаваемые товары и т.д.
Результатом АВС-анализа является группировка объектов по степени влияния на общий результат.
В процессе ABC-анализа товары делятся на три категории:
А — наиболее ценные, В — промежуточные и С — наименее ценные.
По сути ABC-анализ – это ранжирование ассортимента по различным параметрам. Классифицировать так можно и поставщиков, и покупателей, и складские запасы, т.е. все, что имеет достаточное количество статистических данных. Результатом является группировка объектов по степени влияния на общий результат.
АВС-анализ основан на принципе дисбаланса. При его проведении строится график зависимости совокупного эффекта от количества рассмотренных элементов. Его называют Кривой Парето, Кривой Лоренца или ABC-кривой.
Обычно объектами АВС-анализа являются поставщики, товарные группы, товарные категории и отдельные товары. Каждый из них имеет разные параметры описания и измерения: объём продаж (в денежном или количественном измерении), доход (в денежном измерении), товарный запас, оборачиваемость и т.д.
Выбор пороговых значений параметра, по которым производится отнесение объекта к одной из категорий, зависит от конкретных особенностей решаемой задачи.
Например, можно предположить, что узкий ассортимент категории А из 10 % товаров дает 70 % дохода. Из оставшихся – 20 % (товары категории B) дают 20% дохода, а прочие – 70 % (категория C) – всего 10 %. Из полученных результатов можно сделать вывод, что наибольшее внимание
следует уделять товарам категории A, несколько меньшее – категории B,
а товары категории C можно вообще рассматривать как вспомогательные.
