- •Отчет по дисциплине «Обработка экспериментальных данных»
- •Введение
- •1 Описание объекта исследования
- •1.1 Определение и функции трансформаторного масла
- •1.2 Система признаков
- •1.3 Основные понятия
- •2.3 Матрица данных
- •2 Описание данных
- •2.1 Источники данных
- •2.2 Матрица признаков
- •3 Подготовка данных для работы в пап «deductor»
- •3.1 Общие сведения о пап «deductor»
- •3.2 Подготовка бд к импорту в пап «deductor»
- •3.3 Анализ выполнения импорта, оценка качества данных на пригодность к анализу
- •4 Оценка качества данных и процедура очистки
- •4.1 Общие сведения
- •4.2 Оценка качества данных
- •4.3 Выявление дубликатов и противоречий
- •5 Первичный анализ данных
- •5.1 Частотный анализ данных
- •5.1.1 Теоретические сведения
- •5.1.2 Частотные таблицы
- •5.2 Анализ взаимосвязей между признаками (корреляционный анализ)
- •5.2.1 Теоретические сведения
- •5.2.2 Матрица парной корреляции и анализ зависимостей
- •6 Моделирование и анализ зависимостей между количественными признаками
- •6.1 Линейная регрессия
- •6.2 Линейный многомерный регрессионный анализ
- •6.3 Нелинейная регрессия
- •7 Моделирование и анализ зависимостей между качественными признаками
- •7.1 Анализ методов исследования качественных данных
- •7.2 Логистическая регрессия
- •8 Факторный анализ
- •Заключение
- •Список использованных источников
3 Подготовка данных для работы в пап «deductor»
3.1 Общие сведения о пап «deductor»
«DEDUCTOR» является аналитической платформой - основой для создания законченных прикладных решений в области анализа данных. Реализованные в ПАП «DEDUCTOR» технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.
ПАП «DEDUCTOR» состоит из шести частей:
- Deductor Warehouse – многомерное хранилище данных, аккумулирующее всю требуемую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных и централизованное хранение, а также автоматически обеспечивает всю необходимую поддержку процесса анализа. Deductor Warehouse оптимизирован для решения именно аналитических задач, что положительно сказывается на скорости доступа к данным. В ряде случаев имеет смысл отказаться от традиционного хранилища и воспользоваться альтернативой - виртуальным хранилищем Virtual Warehouse;
- Deductor Studio – программа, реализующая функции импорта, обработки, визуализации и экспорта данных. Она может функционировать и без хранилища, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование. В Deductor Studio включен полный набор механизмов, позволяющий получить информацию из произвольного источника данных, провести весь цикл обработки (очистку, трансформацию данных, построение моделей), отобразить полученные результаты наиболее удобным образом (OLAP, таблицы, диаграммы, деревья и т. д.) и экспортировать их в наиболее распространенные форматы;
- Deductor Viewer – программа, ориентированная на конечного пользователя и предназначенная для просмотра подготовленных при помощи Deductor Studio отчетов. Он позволяет минимизировать требования к пользователю системы, т. к. все требуемые операции выполняются автоматически при помощи подготовленных ранее сценариев обработки. Пользователю Deduсtor Viewer нужно только выбрать и настроить вариант отображения полученных результатов;
- Deductor Analytic Server – служба, обеспечивающая удаленную аналитическую обработку данных. Она позволяет автоматически обрабатывать данные и переобучать модели на сервере, оптимизирует выполнение сценариев за счет кэширования проектов и использования многопоточной обработки;
- Deductor Integration Server – служба, обеспечивающая интеграционное взаимодействие компонентов;
- Deductor Client – клиент доступа к Deductor Server. Он обеспечивает доступ к серверу из сторонних приложений и управление его работой. [3]
Возможности ПАП «DEDUCTOR» приведены в таблице 3.
Таблица 3 – Возможности ПАП «DEDUCTOR»
Возможности платформы |
|
Интеграция данных |
- доступ к разнородным источникам: офисные приложения, 1C:Предприятие, СУБД, ERP-, CRM-системы, файлы, веб-сервисы; - консолидация данных в хранилище: быстрый, унифицированный и непротиворечивый источник информации для анализа; - удобный семантический слой хранилища данных для извлечения информации с применением привычных бизнес-терминов; - визуальная настройка извлечения, трансформации и загрузки данных в хранилище с возможностью очистки. |
Визуализация |
- OLAP-модуль: кросс-таблицы и кросс-диаграммы для многомерного анализа данных; - десятки способов визуализации, позволяющие проводить разведочный и сравнительный анализ, выявлять тенденции; - панели отчетов для удобного представления информации конечным пользователям, не знакомых с аналитикой; - поддержка нерегламентированных «ad-hoc» запросов к хранилищу данных с последующей удобной визуализацией. |
Очистка данных |
- контроль качества данных с автоматическим предложением действий по исправлению выявленных проблем; - выявление ошибок: встроенные алгоритмы поиска пропусков, аномалий, дубликатов и противоречий, обнаружения шумов; - исправление ошибок в данных на основе алгоритмов машинного обучения, статистики или по жестким правилам; - дедупликация данных: оценка схожести объектов, обогащение данных и объединение в единую корректную запись. |
DataMining |
- самообучающиеся алгоритмы и машинное обучение: деревья решений, нейронные сети, самоорганизующиеся карты, ассоциативные правила; - анализ временных рядов: выявления сезонности, тренда и случайной составляющей; - множество способов оценки качества моделей с возможностью выбора лучшей; - специализированные визуализаторы, облегчающие интерпретацию и повышающих доверие к результатам. |
Сценарный подход |
- визуальное проектирование логики обработки при помощи мастеров без программирования; - реализация всего цикла анализа: подготовка данных, выбор информативных признаков, очистка, моделирование, прогнозирование, постобработка и интерпретация результатов; - возможность произвольным образом комбинировать любые механизмы обработки; - перебор, сравнение и выбор лучших сценариев очистки, моделирования, прогнозирования. [4] |
Преимущества ПАП «DEDUCTOR» , определенные разработчиками, приведены в таблице 4.
Таблица 4 - Преимущества ПАП «DEDUCTOR»
Преимущества платформы |
||
Для руководителя |
Для аналитика |
Для IT-специалиста |
- минимизация затрат: любая аналитика - одна платформа; - эволюционное развитие от отчётности до оптимизации; - апробированная платформа - сотни внедренных проектов. |
- все технологии анализа: Data Warehouse, OLAP, Data Mining; - аналитика от простых формул до самообучающихся алгоритмов; - разработка сценариев анализа без привлечения программистов. |
- встроенная интеграция с десятками источников данных - высокая производительность; - техническая поддержка непосредственно от разработчиков [4]
|