- •Раздел 1. Накопление и обработка данных .…………………………… 5
- •Раздел 2. Оперативный анализ данных ….…………………………… 43
- •Раздел 3. Интеллектуальный анализ данных ………………………… 82
- •Раздел 4 Загрузка данных и программирование запросов ...………… 110
- •Раздел 5. Подготовка отчетов по результатам анализа …….……… 136
- •Раздел 1. Накопление и обработка данных Лекция 1. Информационно-аналитические системы
- •Операционная обработка данных
- •Оперативный анализ данных
- •Интеллектуальный анализ данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 2. Концепции хранения данных
- •Реляционные базы данных
- •Организация хранилищ данных
- •Концепция многомерной модели данных
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 3. Интеграция и трансформации данных
- •Платформа sql Server 2008
- •Система Management Studio
- •Служба sql Server Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 3. Интеллектуальный анализ данных Лекция 8. Кластерный анализ данных
- •Формальная постановка задачи кластеризации
- •Меры близости в кластерном анализе
- •Иерархические алгоритмы кластеризации
- •Неиерархические алгоритмы кластеризации
- •Представление результатов кластеризации
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 9. Классификация и регрессия
- •Математические функции
- •Правила классификации
- •Деревья решений
- •Методы построения деревьев решений
- •Алгоритмы построения деревьев решений
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 10. Поиск ассоциативных правил
- •Цель лекции – изучение формализованной постановки и алгоритма решения задачи поиска ассоциативных правил.
- •Формальная постановка задачи
- •Обнаружение закономерностей в последовательностях данных
- •Алгоритм поиска ассоциативных правил Apriori
- •Представление результатов
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 8. Службы sql Server Analysis Services
- •Конструктор интеллектуального анализа данных
- •Мастер интеллектуального анализа данных
- •Создание структуры интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Создание и представление источника данных
- •Загрузка с применением Integration Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 12. Основы языка Multidimensional Expressions
- •Оператор select
- •Алгебра множеств и операции с множествами
- •Функции языка mdx
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 13. Язык операций Data Mining
- •Ключевые концепции и объекты dmx
- •Синтаксис запросов dmx
- •Создание моделей интеллектуального анализа
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Раздел 5. Подготовка отчёта по итогам анализа Лекция 14. Служба отчетов Reporting Services
- •Архитектура службы отчётов
- •Средства проектирования запросов
- •Развёртывание Reporting Services
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 15. Источники данных для отчётов
- •Общие источники данных
- •Источники поддерживаемые Reporting Services
- •Создание, изменение и удаление источников
- •Краткие итоги
- •Контрольные вопросы
- •Литература
- •Лекция 16. Конструирование и создание отчётов
- •Основы конструирования отчётов
- •Создание нерегламентированных отчётов
- •Создание отчётов с применением конструктора
- •Краткие итоги
- •Литература
- •Глоссарий
- •Контрольные вопросы
Краткие итоги
Системы Business Intelligence включают средства для построения хранилищ данных (DW), оперативного анализа данных (OLAP), информационно-аналитического сопровождения (EIS-системы), интеллектуального анализа данных (Data Mining) и построения отчётов (Query and reporting tools).
Системы OLTP, ориентированные на операционную обработку данных, обеспечивают высокую производительность и масштабируемость, безопасность хранения и управление данными, но не поддерживают оперативный анализ данных.
Решение проблемы оперативного анализа на основе концепции OLAP предполагает многомерное представление данных и обеспечивает высокую производительность логического и статистического анализа.
Интеллектуальный анализ данных представляет собой процесс принятия решений с использованием поиска в данных скрытых закономерностей (информационных шаблонов).
Процесс интеллектуального анализа данных включает этапы постановки задачи, объединения и очистки данных, просмотра подготовленных данных, построения модели анализа, исследования построенной модели, развёртывания модели анализа в рабочей среде.
Контрольные вопросы
1. Наибольшая степень актуальности от информационной системы требуется при решении задачи:
а) информационного поиска и выполнения заранее определённых запросов к базе данных;
б) поиска функциональных и логических закономерностей в накопленных данных;
в) оперативно-аналитического анализа данных;
г) ввода, обновления и хранения данных.
2. Основное назначение OLTP-системы (On-Line Transaction Processing):
а) автоматизация интеллектуального анализа данных;
б) долговременное хранение данных;
в) операционная (транзакционная) обработка данных;
г) поддержка реляционных хранилищ данных;
3. Основное назначение OLAP-системы (On-Line Analytical processing):
а) выполнение интеллектуального анализа данных;
б) поддержка аналитической деятельности на предприятии;
в) предварительная обработка данных перед анализом;
г) обеспечение безопасности хранения данных.
4. Основное назначение систем интеллектуального анализа (Data Mining):
а) обнаружение в сырых данных скрытых знаний;
б) проведение статистического анализа;
в) решения задач математического программирования;
г) поиск агрегированных данных;
5. При проведении интеллектуального анализа из существующих данных извлекают:
а) шаблоны и тренды;
б) функциональные зависимости;
в) свойства фактов;
г) атрибуты измерений.
Литература
1. Тейлор Д., Рейден Н. Почти интеллектуальные системы. Как получить конкурентные преимущества путём автоматизации принятия решений. – Пер. с англ. – СПб: Символ Плюс, 2009. – 448 с.
2. Барсегян А.А. Методы и модели анализа данных: OLAP и Data Mining / Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. – СПб.: БХВ-Петербург, 2004. – 336 с.
3. Ларсон Б. Разработка бизнес-аналитики в SQL Server 2005. – СПб.: Питер, 2008. – 684 с.
4. Малыхина М.П. Базы данных: основы, проектирование, использование. – Спб.: БХВ. –Петербург, 2004. –512 с.
Лекция 2. Концепции хранения данных
Современные информационные технологии основываются на концепции баз данных (БД). В соответствии с этой технологий основой информационных систем являются данные, которые накапливаются для удовлетворения информационных потребностей пользователя.
Цель лекции – изучение учащимися концепций организации реляционных баз данных, хранилищ и витрин данных, построения многомерных моделей в системах оперативного и интеллектуального анализа данных.
Данные представляют накопленную информацию и позволяют автоматизировать процессы сбора, хранения и обработки. Под задачами обработки данных принято рассматривать класс решаемых на компьютере задач, связанных с форматом представления, хранением, сортировкой, отбором по заданному условию и группировкой записей однородной структуры. Основные понятия концепции БД следующие:
база данных: именованная совокупность данных, отражающая состояние объектов и их отношений в предметной области;
система управления БД (СУБД): совокупность языковых и программных средств, предназначенных для создания, ведения и совместного использования БД многими пользователями.
БД создаётся и работает совместно с системой управления (СУБД). В процессе реализации своих функций СУБД взаимодействует с БД и приложениями пользователей. Каждая группа пользователей имеет своё представление на БД. Для работы с конкретной БД, в том числе с целью оперативного и интеллектуального анализа данных, желательно знать описание и структуры (атрибуты, типы данных) таблиц, количество записей в таблице и связи между таблицами.
