Загрузка с применением Integration Services
Integration Services принадлежит к семейству программных продуктов для извлечения, преобразования и загрузки (extraction, transformation, loading (ETL)) данных. Основной концепцией Integration Services является поток данных. Поток данных состоит из набора предопределённых преобразований. Начальной точкой потока данных является источник данных (исходная таблица), конечной точкой – адресат данных (таблица-адресат). Поток данных можно представить как конвейерный процесс, в котором каждая строка данных является элементом обработки, а преобразования данных модулями сборочной линии. Каждый узел в потоке данных называется преобразованием. Преобразования начинаются с источника и завершаются преобразованием адресата. Основные преобразования следующие:
Aggregate – агрегирование с вычислением среднего значения, суммы, количества значений;
Data Conversion – преобразование типа данных столбца в другой тип;
Sort – осуществляется сортировка данных контейнера;
Union All – выполняется объединение нескольких наборов данных.
Полное описание преобразований приведено в [1].
Основная единица развёртывания и выполнения проекта службы SSIS – проект, который служит контейнером потоков. Один проект SSIS может содержать множество пакетов. В составе пакета один поток управления, состоящий из одного или нескольких потоков данных. Кроме потоков управления и потока данных, пакет также содержит описание подключения SSIS и переменные пакета. Эти переменные могут быть глобальными для всего пакета или локальными для последовательности задач.
Пакет SSIS содержит один поток управления, состоящий из набора задач. Эти задачи определяют выполнение операций SQL-запросов, загрузку данных, обработку скриптов и запуск других процессов. В потоке может содержаться множество задач. Задачи потока образуют одну последовательность во времени. Выполнение очередной задачи является условием выполнения следующей задачи. Для создания условных ветвлений в потоке можно использовать ограничения очерёдностью. Ограничения очерёдностью могут комбинироваться и вычисляться как одно ограничение.
Загрузка данных в Analysis Services может осуществляться с применением компонента обработки секций (partition processing) и компонента обработки измерений (dimension processing). Процедура загрузки выполняется по схеме, приведённой на рисунке 12.1.
Рисунок 12.1 – Схема загрузки данных
При загрузке используется провайдер OLE DB for OLAP, который поставляется с Analysis Services. Через установленное службой Integration Services соединение команда обработки измерения или секции передаётся Analysis Service. При получении команды Analysis Services загружает исходные данные в буфер и продолжает выполнение операции обработки.
Для загрузки данных в измерение создаётся поток данных (data flow). Данные могут загружаться из реляционных таблиц хранилища, плоских файлов и файлов XML. На последнем этапе загрузки поток данных должен содержать записи с колонками, соответствующими каждому атрибуту измерения. Это равносильно загрузке измерения из одной реляционной таблицы при помощи одного запроса SQL. Соответствие между колонками записи потока данных и атрибутами измерения (ключи, имена и свойства) устанавливается с применением Редактора Результата Потока Данных Обработки Измерений (Dimension Processor Destination Editor).
Загрузка данных в секцию куба с помощью службы SSIS выполняется аналогично загрузке измерения. Отличие состоит в том, что поток данных для загрузки в секцию создаётся с применением Компонента Обработки Секций (Partition Processing Flow Item). В редакторе Результата Потока Данных Обработки Секций (Partition Processor Destination Editor) выбираются секции для обработки и устанавливаются соответствия между колонками потока и атрибутами секций.
Служба SSIS предоставляет несколько встроенных компонентов для решения задач интеллектуального анализа данных (ИАД) в потоке управления и потоке данных. Специфические задачи ИАД следующие [1]:
запрос интеллектуального анализа данных (Data Mining Query), используемый в потоке управления SSIS;
обработка аналитических служб (Analysis Services Processing) основных объектов базы данных SSIS: измерений, кубов, структур и моделей анализа.
Полное описание задач интеллектуального анализа, решаемых с использованием SSIS, приведено в [1].