- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Пример работы многослойного персептрона
Рассмотрим решение задачи регрессии с помощью многослойного персептрона на примере прогнозирования результата умножения двух чисел.
Для этого потребуется файл multi.txt.
В файле содержится таблица со следующими полями: Аргумент1, Аргумент2 – множители, Произведение – их произведение.
Импортировав данные из файла, можно посмотреть результат ум- ножения, используя визуализатор Таблица (рис. 7.4).
Рисунок 7.4 – Визуализатор Таблица
Предположим, что нужно построить нейросетевую модель, на вход которой подаются два множителя, а на выходе получается их произведение.
Для этого, находясь на узле импорта, следует вызвать Мастер обработки и в его окне выбрать обработчик Нейросеть, после чего перейти к следующему шагу. Во втором окне нужно установить назначение полей: Аргумент1 и Аргумент2 представить, как входные, а поле Произведение – как выходное.
На следующем шаге предлагается настроить разбиение исходного множества данных на обучающее и тестовое. Оставим опции, принятые по умолчанию (рис. 7.5).
Рисунок 7.5 – Разбиение исходного множества данных
В третьем окне Мастера нужно указать параметры архитектуры многослойного персептрона и активационной функции.
Для данной задачи выбираем один скрытый слой с четырьмя нейронами
(рис. 7.6).
Рисунок 7.6 – Структура нейронной сети
Вслед за этим выбирают алгоритм обучения многослойного пер- септрона и указывают его параметры (рис. 7.7).
Рисунок 7.7 – Выбор алгоритма обучения и настройка его параметров
Далее нужно настроить условия остановки обучения.
Примем, что пример следует считать распознанным, если ошибка станет менее 0,005, и укажем в поле Эпоха 10 000.
В следующем окне Мастер предложит запустить процесс обучения, в ходе которого можно наблюдать как величину ошибки, так и процент распознанных примеров. Параметр Темп обновления показывает, через какое количество эпох обучения начинает выводиться данная информация (рис. 7.8).
После того как процесс обучения сети завершится, выберем сле- дующие визуализаторы: Граф нейросети, Диаграмма рассеяния, Что-если.
Граф нейросети позволяет представить нейронную сеть графически, со всеми нейронами и синоптическими связями. При этом можно увидеть не только структуру НС, но и значения весов для всех связей. В зависимости от веса их цвет меняется, а соответствующее числовое значение можно определить на цветовой шкале, расположенной в нижней части окна (рис. 7.9).
Диаграмма рассеяния позволяет оценить качество полученной модели. Он показывает отклонение прогнозируемых данных от эталонных. Красные кружки на диаграмме соответствуют примерам из обучающей выборки, причем их абсцисса равна эталонному значению, а их ордината – выходному
значению, рассчитанному обученной моделью. Прямая диагональная линия представляет собой линию точных значений; чем ближе к ней кружок, тем меньше ошибка модели (рис. 7.10).
Рисунок 7.8 – Процесс обучения нейронной сети
Рисунок 7.9 – Граф нейронной сети
Рисунок 7.10 – Визуализатор Диаграмма рассеяния
Визуализатор Что-если дает возможность провести эксперимент, введя любые значения множителей Аргумент1 и Аргумент2 и рассчитав результат по модели (рис. 7.11).
Рисунок 7.11 – Визуализатор Что-если
Так, в обучающей выборке не было примера, в котором первый аргумент равен 7, а второй – 7. Если ввести эти данные в визуализатор, получим 48,94, что весьма близко к истине.
Сохраните проект в файле L7_1.ded.
