2.2. Організація сд

Всі дані в СД діляться на три основні категорії (рис. 2.5):

• детальні дані;

• агреговані дані;

• метадані.

Рис. 2.5. Архітектура СД

Детальними є дані, що переносяться безпосередньо з ОДД. Вони відповідають елементарним подіям, що фіксуються ОLТР-системами (наприклад, продажі, експерименти і ін.). Прийнято розділяти всі дані на виміри і факти. Вимірами називаються набори даних, необхідні для опису подій (наприклад, міста, товари, люди і т. п.). Фактами називаються дані, що відображають суть події (наприклад, кількість проданого товару, результати експериментів і т. п.). Фактичні дані можуть бути представлені у вигляді числових або категоріальних значень.

В процесі експлуатації СД необхідність у ряді детальних даних може знизитися. Непотрібні детальні дані можуть зберігатися в архівах в стислому вигляді на більш ємких накопичувачах з повільнішим доступом (наприклад, на магнітних стрічках). Дані в архіві залишаються доступними для обробки і аналізу. Регулярно використовувані для аналізу дані повинні зберігатися на накопичувачах з швидким доступом (наприклад, на жорстких дисках).

На підставі детальних даних можуть бути отримані агреговані (узагальнені) дані. Агрегація відбувається шляхом підсумовування числових фактичних даних по певних вимірах. Залежно від можливості агрегувати дані вони поділяються на наступні типи:

• аддитивні — числові фактичні дані, які можуть бути підсумовані по всіх вимірах;

• напіваддитивні — числові фактичні дані, які можуть бути підсумовані лише по певних вимірах;

• неаддитивні — фактичні дані, які не можуть бути підсумовані по жодному виміру.

Більшість користувачів СППР працюють не з детальними, а з агрегованими даними. Архітектура СД повинна надавати швидкий і зручний спосіб отримувати інформацію, що цікавить користувача. Для цього необхідно частину агрегованих даних зберігати в СД а не обчислювати їх при виконанні аналітичних запитів. Очевидно, що це веде до надмірності інформації і збільшенню розмірів СД. Тому при проектуванні таких систем поважно добитися оптимального співвідношення між обчислюваними агрегованими даними, що зберігаються. Ті дані, до яких рідко звертаються користувачі, можуть обчислюватися в процесі виконання аналітичних запитів. Дані, які потрібні частіше, повинні зберігатися в СД.

Для зручності роботи з СД необхідна інформація про дані, що містяться в ньому. Така інформація називається метаданими (дані про дані). Згідно концепції Дж.Захмана, метадані повинні відповідати на наступні питання — що, хто, де, як, коли і чому:

• що (опис об'єктів) — метадані описують об'єкти предметної області, інформація про які зберігається в СД. Такий опис включає: атрибути об'єктів, їх можливі значення, відповідні поля в інформаційних структурах СД, джерела інформації про об'єкти і т. д.;

• хто (опис користувачів) — метадані описують категорії користувачів, що використовують дані. Вони описують права доступу до даних, а також включають відомості про користувачів, що виконували над даними різні операції (введення, редагування, завантаження, витягування і т.д.);

• де (опис місця зберігання) — метадані описують місце розташування серверів, робочих станцій, ОДД, розміщені на них програмні засоби і розподіл між ними даних;

• як (опис дій) — метадані описують дії, що виконуються над даними. Описувані дії могли виконуватися як в процесі перенесення з ОДД (наприклад, виправлення помилок, розділення полів і т. д.), так і в процесі їх експлуатації в СД;

• коли (опис часу) — метадані описують час виконання різних операцій над даними (наприклад, завантаження, агрегація, архівація, витягування і т. д.);

• чому (опис причин) — метадані описують причини, що викликають виконання над даними тих або інших операцій. Такими причинами можуть бути вимоги користувачів, статистика звернень до даних і тому подібне

Оскільки метадані грають важливу роль в процесі роботи з СД, то до них має бути забезпечений зручний доступ. Для цього вони зберігаються в репозиторії метаданих із зручним для користувача інтерфейсом. Дані, що поступають з ОДД в СД, і переміщаються всередині СД і потрапляють з СД до аналітиків, утворюють наступні інформаційні потоки (див. рис. 2.5):

• вхідний потік (Inflow)-— утворюється даними, копійованими з ОДД в СД;

• потік узагальнення (Upflow) — утворюється агрегацією детальних даних і їх збереження в СД.

• архівний потік (Downflow) — утворюється переміщенням детальних даних, кількість звернень до яких знизилася;

• потік метаданих (Metaflow) — утворюється перенесенням інформації про дані в репозиторій даних;

• вихідний потік (Outflow) — утворюється даними, що витягуються користувачами;

• зворотний потік (Feedback Flow) — утворюється очищеними даними, які записуються назад в ОДД.

Найпотужніший з інформаційних потоків — вхідний — пов'язаний з перенесенням даних з ОДД. Зазвичай інформація не просто копіюється в СД, а піддається обробці: дані очищаються і збагачуються за рахунок додавання нових атрибутів. Вихідні дані з ОДД об'єднуються з інформацією із зовнішніх джерел — текстових файлів, повідомлень електронної пошти, електронних таблиць і ін. При розробці СД не менше 60 % всіх витрат пов'язано з перенесенням даних.

Процес перенесення, що включає етапи витягування, перетворення і завантаження, називають etl-процесом (Е — extraction, Т — transformation, L — loading: витягування, перетворення і завантаження, відповідно). Програмні засоби, що забезпечують його виконання, називаються etl-системами. Традиційно etl-системи використовувалися для перенесення інформації із застарілих версій інформаційних систем в нові. В даний час etl-процес знаходить все більше вживання для перенесення даних з ОДД в СД і ВД.

Розглянемо детальніше етапи etl-процесу (рис. 2.6). Витягання даних. Щоб почати etl-процес, необхідно витягувати дані з одного або декількох джерел і підготувати їх до етапу перетворення. Можна виділити два способи витягання даних:

1. Витягання даних допоміжними програмними засобами безпосередньо із структур зберігання інформації (файлів, електронних таблиць, БД і т. д. Перевагами такого способу витягання даних є:

• відсутність необхідності розширювати ОLТР-систему (це особливо важливо, якщо її структура закрита);

• дані можуть витягуватися з врахуванням потреб процесу перенесення.

2. Вивантаження даних засобами ОLТР-систем в проміжні структури. Перевагами такого підходу є:

• можливість використовувати засоби ОLТР-систем, адаптовані до структур даних;

• засоби вивантаження змінюються разом із змінами ОLТР-систем і ОДД;

• можливість виконання першого кроку перетворення даних за рахунок певного формату проміжної структури зберігання даних.

Рис. 2.6. etl-процес

Перетворення даних. Після того, як збір даних завершений, необхідно перетворити їх для розміщення на новому місці. На цьому етапі виконуються наступні процедури:

• узагальнення даних (aggregation) — перед завантаженням дані узагальнюються. Процедура узагальнення замінює багаточисельні детальні дані відносно невеликим числом агрегованих даних. Наприклад, передбачимо, що дані про продажі за рік займають в нормалізованій базі даних декілька тисяч записів. Після узагальнення дані перетворяться в менше число коротких записів, які будуть перенесені в СД;

• перетворення значень (value translation) — в ОДД дані часто зберігаються в закодованому вигляді для того, щоб скоротити надмірність даних і пам'ять для їх зберігання. Наприклад, назви товарів, міст, спеціальностей і тому подібне можуть зберігатися в скороченому вигляді. Оскільки СД містять узагальнену інформацію і розраховані на просте використання, закодовані дані зазвичай замінюють на зрозуміліші описи.

• створення полів (field derivation) — при створенні полів для кінцевих користувачів створюється і нова інформація. Наприклад, ОДД містить одне поле для вказування кількості проданих товарів, а друге — для вказування ціни одного екземпляра. Для виключення операції обчислення вартості всіх товарів можна створити спеціальне поле для її зберігання під час перетворення даних;

• очищення даних (cleaning) — направлена на виявлення і видалення помилок і невідповідностей в даних з метою поліпшення їх якості. Проблеми з якістю зустрічаються в окремих ОДД, наприклад, у файлах і БД можуть бути помилки при введенні, окрема інформація може бути втрачена, можуть бути присутніми "забруднення" даних і ін. Очищення також застосовується для узгодження атрибутів полів так, щоб вони відповідали атрибутам бази даних призначення.

Завантаження даних. Після того, як дані перетворені для розміщення в СД, здійснюється етап їх завантаження. При завантаженні виконується запис перетворених детальних і агрегованих даних. Крім того, при записі нових детальних даних частина старих даних може переноситися в архів.