- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Замена значений
Обработчик Замена данных находится в группе узлов Трансформация данных Мастера обработки.
В
окне
настройки
параметров
замены
для
каждого
поля
можно
ввести таблицу
подстановок. Добавление новой строки
в таблицу
подстановок производится
нажатием
кнопки
,
удаление
существующей
–
.
В таблице подстановок должны быть заполнены два поля:
Значение –
заменяемое значение поля
исходной таблицы. Если
поле
дискретное,
то
для
ввода
значения
можно
воспользоваться
кнопкой
выбора
,
где
флажками
отметить
нужные
значения.
Заменять на – значение для замены того, что указано в поле Значение.
Внизу таблицы подстановок расположены еще два флажка, которые при необходимости можно активировать:
Заменять другие на – на какое значение следует заменить значения, не указанные в таблице замены. Для этого установите флажок и в поле напротив введите значение для замены.
Заменять пустые на – на какое значение заменять пустые значения поля.
В результате выполнения этой операции производится замена значений по таблице подстановки, которая содержит пары, состоящие из исходного значения и выходного значения. Например, 0 – «красный», 1 – «зеленый», 2 –
«синий». Или «зима» – «январь», «весна» – «апрель», «лето» –-«июль»,
«осень» – «октябрь». Для каждого значения исходного набора данных ищется соответствие среди исходных значений таблицы подстановки. Если соответствие найдено, то значение меняется на соответствующее выходное значение из таблицы подстановки. Если значение не найдено в таблице, оно может быть либо заменено значением, указанным для замены по умолчанию, либо оставлено без изменений (если такое значение не указано). Кроме того, можно указать значения, которые нужно вставить вместо пустых ячеек.
1) Продемонстрируем применение замены значений, используя данные по кредитованию файл Credit.txt (исходная ветвь – Иванов. Преобразование даты из файла L2_1.ded). Пусть необходимо представить отчет о суммах кредитов на различные цели по мужчинам и женщинам. Для повышения информативности заменим значения столбца Пол. Например, муж – мужчины, жен – женщины.
Выполнение замены.
В Мастере замены следует выделить столбец Пол и нажать на кнопку Добавить список (рис. 2.24). В появившемся списке необходимо пометить флажками оба значения и нажать на ОК.
Выбранные значения добавятся в таблицу подстановок. Далее следует указать, на что заменять исходные значения. В соответствии с задачей напишем напротив муж – Мужчины, напротив жен – Женщины. Затем перейдем к следующему шагу Мастера и выберем в качестве варианта визуализации Куб. Укажем в качестве измерений поля Пол и Цель кредитования, а в качестве факта – Сумма кредита. Остальные поля отметим как неиспользуемый.
После замены значений полученный отчет, представленный в виде кросс-таблицы, будет выглядеть следующим образом (рис. 2.25):
Рисунок 2.24 – Настройка параметров замены
Рисунок 2.25 – Отчет Кросс-таблица
Результат сохранить в файле L2_1.ded.
Задание
Создайте новый проект. Импортируйте в него текстовый файл
CreditSample.txt.
Отсортируйте этот набор данных по следующим полям в порядке возрастания: Срок ссуды, Размер ссуды, Количество иждивенцев (рис. 2.26).
Сделайте следующую замену (после предыдущего узла Замена данных) в поле Давать кредит: значение Истина – на 1, Ложь – 0 (рис. 2.27).
Рисунок 2.26 – Таблица сортировки |
Рисунок 2.27 – Замена данных |
Старое поле Давать кредит удалите (в настройке данных сделайте это поле неиспользуемым) из набора данных, а новое поле Давать кредит_REPLACE переименуйте в Давать кредит (рис. 2.28).
Рисунок 2.28 – Переименование Кредит_REPLACE в Давать кредит
Измените тип поля Количество иждивенцев на строковый (в узле импорта данных). Сделайте следующую замену (после предыдущего узла
Замена данных) в поле Количество иждивенцев: значение 0 – на Нет, 1 – Без изменений, 2 и 3 – 2 и более.
Старое поле Количество иждивенцев удалите (в настройке данных сделайте это поле неиспользуемым) из набора данных, а новое поле Количество иждивенцев_REPLACE переименуйте в Иждивенцы (рис. 2.29).
Отфильтруйте набор данных, полученный в п. 4 по полю Иждивенцы так, чтобы в выходной набор попали только строки, у которых значение в поле Иждивенцы не равно Нет (рис. 2.30).
Рисунок 2.29 – Переименование поля |
Рисунок 2.30 – Применение фильтра |
Продолжите фильтровать набор данных, полученный в п. 5. Наложите следующий фильтр, в который попадают все записи, удовлетворяющие условиям:
Размер ссуды – от 2 000 до 5 000, Цель ссуды – Покупка товара
(рис. 2.31).
7. Отсортируйте последний набор данных по полю Код (рис. 2.32).
-
Рисунок 2.31 – Наложение
дополнительного фильтра
Рисунок 2.32 – Сортировка по полю Код
Сохраните результаты в файле L2_2_дополнительно.ded.
