Питання для самоперевірки
Які основні етапи необхідно виконати щоб створити сховище та вітрину даних?
Які способи створення сховище та вітрину даних ви знаєте?
Як переглянути структуру сховища та вітрини даних?
Лабораторна робота №4
Тема: Створення пакетів завантаження інформації до сховища даних
Мета: Набути навичок створення пакетів завантаження інформації до сховища даних з різних джерел даних.
Завдання: Створити пакети завантаження до сховища даних з текстового файлу, Excel-файлу, файлу бази даних Access.
Приклад виконання
1. Створення пакету завантаження до сховища даних з текстового файлу
За допомогою конструктора служб SSIS буде створено простий пакет для отримання інформації з текстового файлу Linia.txt, що містить інформацію про автоматизовані лінії та запису її в таблицю «Автоматизовані лінії» сховища даних. Інформація у файлі Linia.txt має п’ять стовпців: Код лінії, Назва, Тип, Кількість бункерів, Об’єм бункера (рис 6.):
Рис. 6. Вміст текстового файлу Linia.txt
При роботі з даними джерела плоских файлів важливо розуміти, як диспетчер з'єднань плоскими файлами інтерпретує дані в них. Якщо плоский файл є документом в кодуванні Unicode, диспетчер з'єднань з плоскими файлами визначає всі стовпці як [DT_WSTR] з шириною 50 символів за замовчуванні. Якщо вхідний файл є документом в кодуванні ANSI, стовпці визначаються як [DT_STR] з шириною 50 символів. Тому потрібно змінювати ці налаштування для оптимізації розміру конкретних стовпців.
Кінцевим призначенням джерела даних є таблиця сховища даних «Автоматизовані лінії» структура якої наведена на рисунку 7.
Рис. 7. Структура таблиці «Автоматизовані лінії»
Для створення пакету завантаження у середовищі SQL Server Business Intelligence Development Studio (BI Dev Studio) в меню "Файл" обираємо пункт "Создать/Проект". В діалоговому вікні "Создать проект" в області "Шаблоны" обираємо "Проект службы SSIS" в результаті чого буде створений порожній пакет з ім'ям Package.dtsx, який буде додано до проекту.
Спочатку встановлюємо зв'язок з джерелом інформації з якого ми будемо отримувати набори інформації для подальшої її обробки. До створеного пакету додаємо диспетчер з'єднань з плоскими файлами. Він забезпечує з’єднання та отримання наборів інформації з плоскими файлами, типу текстових з розширенням txt. При налаштуванні диспетчера з’єднань визначаються наступні параметри ім'я та розташування файлу, мовні стандарти та кодову сторінку, а також формат файлу, включаючи розділові знаки стовпців.
Клацаємо правою кнопкою на "Диспетчер соединений" і в контекстному меню обираємо команду "Создать соединение с плоским файлом". В діалоговому вікні "Редактор диспетчера соединений с плоским файлом" (рис. 8) в полі "Имя диспетчера соединений" водимо "ТХТ". Натискаємо кнопку "Обзор" та відшукавши обираємо файл Linia.txt. Переходимо до налаштування представлення інформації, що буде отримана з файлу Linia.txt шляхом встановлення параметрів як на рисунку 9 в пункті «Столбцы».
Рис. 8. Редактор диспетчера з’єднань з плоскими файлами
Рис. 9. Вкладка «Столбцы» редактору диспетчера з’єднань з плоскими файлами
Для більш гнучкого налаштування переходимо до вкладки "Дополнительно". За замовчуванням для всіх чотирьох стовпців вказаний символьний тип даних [DT_STR] зі значенням довжини у символах параметру "OutputColumnWidth" рівним 50. Для того, щоб пакет сам визначив типи даних стовбців, натискаємо кнопку "Предложить типы". У вікні "Предлагаемые типы данных" встановлюємо так само як на рисунку (рис. 10) та натискаємо кнопку "ОК, щоб служби SSIS запропонували типи даних для стовпців.
Рис. 10. Діалогове вікно налаштування визначення типів "Предлагаемые типы данных"
Після того як виконається майстр налаштування визначення типів ми повернемося у вікно "Редактор диспетчера соединений с плоским файлом" до вкладки "Дополнительно", де ми маємо можливість переглянути типи даних стовпців та у разі потреби відредагувати їх.
Рис. 11. Вкладка "Дополнительно" вікна "Редактор диспетчера соединений с плоским файлом"
Після того як було встановлено з’єднання з джерелом інформації необхідно встановити зв'язок з приймачем інформації. До створеного пакету додаємо диспетчер з'єднань, натиснувши правою кнопкою миші в області "Диспетчеры соединений" та обираємо "Создать соединение OLE DB". У діалоговому вікні натискаємо кнопку "Создать" та починаємо налаштування параметрів з’єднання у вікні "Диспетчер соединений" (рис. 12). Вказуємо ім’я сервера в полі "Имя сервера". Обираємо спосіб підключення та реєстрації, а також обираємо базу даних "warehouse". Для перевірки з’єднання натискаємо кнопку "Проверить соединение".
Рис. 12. Контекстне меню області "Диспетчер соединений"
Наступним етапом після створення диспетчерів з'єднань для джерел вхідних та вихідних додаємо до пакету "задачу потоку даних". Вона призначена для об’єднання компонентів/дій, що забезпечують обробку даних в межах від отримання набору даних до запису результатів обробки у приймач інформації. У задачі потоку даних зосереджена велика частина роботи в процесі вилучення, перетворення і завантаження.
Перейдіть на вкладку "Поток управления" та в у вікні "Панель елементив" знаходимо елемент "Элемент потока управления", після чого перетягуємо елемент "Задача потоку данных" в область конструктора вкладки "Поток управления" (рисунок 13).
Рис. 13. Вікно потоку управління
Далі додамо до пакету та налаштуємо джерело плоского (текстового) файлу. Джерело плоских файлів являє собою компонент потоку даних, що використовує метадані, визначені диспетчером з’єднань з плоскими файлами для опису формату і структури даних. Переходимо на вкладку "Поток данных". У вікні "Панель элементов" розкриваємо елемент "Источник потоку данных" та перетягуємо "Источник "Плоский файл"" в область конструктора вкладки "Поток данных" (рис. 14).
Двічі клацнувши компонент "Источник "Плоский файл"" відкриється діалогове вікно "Редактор источника "Плоский файл"". В закладці "Диспетчер соединения с плоским файлом" обираємо необхідний текстовий файл. Перейшовши до закладки "Столбцы" переконуємося в тому що імена стовпців задані правильно(рис. 15).
Рис. 14. Потік даних
Рис.
15. Налаштування вхідних параметрів по
стовпцю
На "Панели элементов" розкриваємо групу компонентів "Назначение потока даних" та перетягуємо компонент "Назначение OLE DB"в область конструктора вкладки "Поток данных" (рис. 16). Відкриваємо властивості компоненту "Назначение OLE DB" двічі клацнувши по ньому. В полі зі списком "Имя таблицы или представления" обираємо таблицю "Автоматизовані лінії"» сховища даних (рис. 17).
Рис. 16. Компонент "Назначение OLE DB"
Рис. 17. Закладка «Диспетчер назначения OLE DB» діалогового вікна "Редактор назначения OLE DB"
Перейшовши на закладку "Сопоставления" перевіряємо чи вхідні стовпці правильно співпадали з стовпцями приймача.
В меню "Отладка" обераємо "Начать отладку" при цьому відбувається запуск виконання створеного пакету і в таблицю сховища даних "Автоматизовані лінії" з текстового файлу Linia.txt будуть завантажено уся інформація. Результат виконання створеного пакету подано на рисунку 18.
Рис. 18. Завантажені дані