Розділ 2. Сховище даних

2.1. Концепція сховища даних

Прагнення об'єднати в одній архітектурі СППР можливості oltp-систем і систем аналізу, вимоги до яких багато в чому, як випливає з таблиці 1.1, суперечливі, привело до появи концепції сховища даних (СД).

Концепція СД так чи інакше обговорювалася фахівцями в області інформаційних систем досить давно. Перші статті, присвячені саме СД, з'явилися в 1988 р., їх авторами були Б. Девлін і П. Мерфі. У 1992 р. У.Інмон детально описав дану концепцію в своїй монографії "Побудова сховищ даних" ("Building the Data Warehouse", second edition — QED Publishing Group, 1996).

У основі концепції СД лежить ідея розділення даних, що використовуються для оперативної обробки і для вирішення завдань аналізу. Це дозволяє застосовувати структури даних, які задовольняють вимогам їх зберігання з врахуванням використання в OLTP-системах і системах аналізу. Такий поділ дозволяє оптимізувати як структури даних оперативного зберігання (оперативні БД, файли, електронні таблиці і т. д.) для виконання операцій введення, модифікації, видалення і пошуку, так і структури даних, які використовуються для аналізу (для виконання аналітичних запитів). У СППР ці два типи даних називаються відповідно оперативними джерелами даних (ОДД) і сховищем даних.

У своїй роботі Інмон дав наступне визначення СД. Увага!

Сховище даних — предметно-орієнтований, інтегрований, немінливий, підтримуючий хронологію набір даних, організований для цілей підтримки ухвалення рішень.

Розглянемо властивості СД детальніше.

• Предметна орієнтація. Це фундаментальна відмінність СД від ОДД. Різні ОДД можуть містити дані, що описують одну і ту ж предметну область з різних точок зору (наприклад, з точки зору бухгалтерського обліку, складського обліку, планового відділу і т. д.). Рішення, прийняте на основі лише однієї точки зору, може бути неефективним або навіть невірним. СД дозволяють інтегрувати інформацію, що відображає різні точки зору на одну предметну область.

Предметна орієнтація дозволяє також зберігати в СД лише ті дані, які потрібні для їх аналізу (наприклад, для аналізу немає сенсу зберігати інформацію про номери документів купівлі-продажу, тоді як їх вміст — кількість, ціна проданого товару — необхідно). Це істотно скорочує витрати на носії інформації і підвищує безпеку доступу до даних.

• Інтеграція. ОДД, як правило, розробляються в різний час декількома колективами з власним інструментарієм. Це приводить до того, що дані, що відображають той самий об'єкт реального світу в різних системах, описують його по-різному. Обов'язкова інтеграція даних в СД дозволяє вирішити цю проблему, зводячи дані до єдиного формату.

• Підтримка хронології. Дані в ОДД необхідні для виконання над ними операцій у даний момент часу. Тому вони можуть не мати прив'язки до часу. Для аналізу даних часто буває важливо мати можливість відстежувати хронологію змін показників предметної області. Тому всі дані, що зберігаються в СД, повинні відповідати послідовним інтервалам часу.

• Незмінність. Вимоги до ОДД накладають обмеження на час зберігання в них даних. Ті дані, які не потрібні для оперативної обробки, як правило, видаляються з ОДД для зменшення займаних ресурсів. Для аналізу, навпаки, потрібні дані за максимально великий період часу. Тому, на відміну від ОДД, дані в СД після завантаження лише читаються. Це дозволяє істотно підвищити швидкість доступу до даних, як за рахунок можливої надмірності інформації, що зберігається, так і за рахунок виключення операцій модифікації.

При реалізації в СППР концепції СД дані з різних ОДД копіюються в єдине сховище. Зібрані дані зводяться до єдиного формату, узгоджуються і узагальнюються. Аналітичні запити адресуються до СД (рис. 2.1).

Така модель неминуче приводить до дублювання інформації в ОДД і в СД. Проте Інмон в своїй роботі стверджує, що надмірність даних, що зберігаються в СППР, не перевищує 1 %! Це можна пояснити наступними причинами. При завантаженні інформації з ОДД в СД дані фільтруються. Багато з них не потрапляє в СД, оскільки позбавлені сенсу з точки зору використання в процедурах аналізу.

Інформація в ОДД носить, як правило, оперативний характер, і дані, втративши актуальність, видаляються. У СД, навпаки, зберігається історична інформація. З цієї точки зору дублювання вмісту СД даними ОДД є вельми незначним. У СД зберігається узагальнена інформація, яка в ОДД відсутня.

Під час завантаження в СД дані очищаються (видаляється непотрібна інформація), і після такої обробки вони займають набагато менший об'єм.

Рис. 2.1. Структура СППР з фізичним СД

Надмірність інформації можна звести до нуля, використовуючи віртуальне СД. В даному випадку на відміну від класичного (фізичного) СД дані з ОДД не копіюються в єдине сховище. Вони витягуються, перетворюються і інтегруються безпосередньо при виконанні аналітичних запитів в оперативній пам'яті комп'ютера. Фактично такі запити безпосередньо адресуються до ОДД (рис. 2.2). Основними перевагами віртуального СД є:

• Мінімізація об'єму пам'яті, займаної на носієві інформацією;

• Робота з поточними, деталізованими даними.

Рис. 2.2 Структура СППР з віртуальним СД

Проте такий підхід має багато недоліків.

Час обробки запитів до віртуального СД значно перевищує відповідні показники для фізичного сховища. Крім того, структури оперативних БД, розраховані на інтенсивне оновлення одиночних записів, вищою мірою нормалізовані. Для виконання аналітичного запиту потрібне об'єднання великого числа таблиць, що також призводить до зниження швидкодії.

Інтегрований погляд на віртуальне сховище можливий лише при виконанні умови постійної доступності всіх ОДД. Таким чином, тимчасова недоступність хоч би одного з джерел може призвести або до невиконання аналітичного запиту, або до невірних результатів. Виконання складних аналітичних запитів над ОДД вимагає значних ресурсів комп'ютерів. Це призводить до зниження швидкодії ОLTP-систем, що недопустимо, оскільки час виконання операцій в таких системах часто вельми критичний.

Різні ОДД можуть підтримувати різні формати і кодування даних. Часто на одне і те ж питання може бути отримане декілька варіантів відповіді. Це може бути пов'язано з несинхронним оновленням даних в різних ОДД, відмінностями в описі однакових об'єктів і подій предметної області, помилками при введенні, втратою фрагментів архівів і так далі. В такому випадку мета — формування єдиного несуперечливого погляду на об'єкт управління — може бути не досягнута.

Головним же недоліком віртуального сховища слід визнати практичну неможливість отримання даних за довгий період часу. За відсутності фізичного сховища доступні лише ті дані, які на момент запиту є в ОДД. Основне призначення ОLТР-систем — оперативна обробка поточних даних, тому вони не орієнтовані на зберігання даних за тривалий період часу. У міру застарівання дані вивантажуються в архів і видаляються з оперативної БД.

Не дивлячись на переваги фізичного СД перед віртуальним, необхідно визнати, що його реалізація є досить трудомістким процесом. Зупинимося на основних проблемах створення СД:

• необхідність інтеграції даних з неоднорідних джерел в розподіленому середовищі;

• потреба в ефективному зберіганні і обробці дуже великих об'ємів інформації;

• необхідність наявності багаторівневих довідників метаданих;

• підвищені вимоги до безпеки даних.

Розглянемо ці проблеми детальніше.

Необхідність інтеграції даних з неоднорідних джерел в розподіленому середовищі. СД створюються для інтеграції даних, які можуть поступати з різнорідних ОДД, що фізично розміщуються на різних комп'ютерах: БД, електронних архівів, публічних і комерційних електронних каталогів, довідників, статистичних збірок. При створенні СД доводиться вирішувати задачу побудови системи, що погоджено функціонує з неоднорідними програмними засобами і рішеннями. При вибиранні засобів реалізації СД доводиться враховувати безліч чинників, що включають рівень сумісності різних програмних компонентів, легкість їх освоєння і використання, ефективність функціонування і т. д.

Потреба в ефективному зберіганні і обробці дуже великих об'ємів інформації. Властивість незмінності СД передбачає накопичення в ньому інформації за довгий період часу, що повинне підтримуватися постійним зростанням об'ємів дискової пам'яті.

Орієнтація на виконання аналітичних запитів і пов'язана з цим денормалізація даних приводять до нелінійного зростання об'ємів пам'яті, займаною СД при зростанні об'єму даних. Дослідження, проведені на основі тестового набору ТРС-С, показали, що для баз даних об'ємом в 100 Гбайт потрібна пам'ять, в 4,87 разу більша об'ємом, ніж потрібно для зберігання корисних даних.

Необхідність багаторівневих довідників метаданих. Для систем аналізу наявність розвинених метаданих (даних про дані) і засобів їх надання кінцевим користувачам є одним з основних умов успішної реалізації СД. Метадані необхідні користувачам СППР для розуміння структури інформації, на підставі якої приймається рішення. Наприклад, перш ніж менеджер корпорації поставить системі своє питання, він повинен зрозуміти, яка інформація є, наскільки вона актуальна, чи можна їй довіряти, скільки часу може зайняти формування відповіді і так далі. При створенні СД необхідно вирішувати завдання зберігання і зручного представлення метаданих користувачам.

Підвищення вимог до безпеки даних. Зібрана разом і погоджена інформація про історію розвитку корпорації, її успіхи і невдачі, про взаємини з постачальниками і замовниками, про історію і стан ринку дає можливість аналізу минулої і поточної діяльності корпорації і побудови прогнозів для майбутнього. Очевидно, що подібна інформація є конфіденційною і доступ до неї обмежений в межах самої компанії, не кажучи вже про інші компанії. Для забезпечення безпеки даних доводиться вирішувати питання аутентифікації користувачів, захисту даних при їх переміщенні в сховищі даних з оперативних баз даних і зовнішніх джерел, захисту даних при їх передачі по мережі і тому подібне Зниження витрат на створення СД можна добитися, створюючи його спрощений варіант — вітрину даних (Data Mart).

Увага!

Вітрина даних (ВД) — це спрощений варіант СД, що містить лише тематично об'єднані дані.

ВД максимально наближена до кінцевого користувача і містить дані, тематично орієнтовані на нього (наприклад, ВД для працівників відділу маркетингу може містити дані, необхідні для маркетингового аналізу). ВД істотно менше за об'ємом, ніж СД, і для її реалізації не вимагається великих витрат. Вони можуть бути реалізовані як самостійно, так і разом з СД.

Самостійні ВД (рис. 2.3) часто з'являються в організації історично і зустрічаються у великих організаціях з великою кількістю незалежних підрозділів, які розв’язують власні аналітичні завдання. Перевагами такого підходу є:

• проектування ВД для відповідей на певне коло питань;

• швидке впровадження автономних ВД і отримання віддачі;

• спрощення процедур заповнення ВД і підвищення їх продуктивності за рахунок обліку потреб визначеного кола користувачів.

Рис. 2.3. Структура СППР з самостійними ВД

Недоліками автономних ВД є:

• багатократне зберігання даних в різних ВД, що призводить до збільшення витрат на їх зберігання і потенційних проблем, пов'язаних з необхідністю підтримки несуперечності даних;

• відсутність консолідованості даних на рівні предметної області, а отже — відсутність єдиної картини.

Останнім часом усе більш популярною стає ідея поєднати СД і ВД в одній системі. В цьому випадку СД використовується як єдине джерело інтегрованих даних для всіх ВД (Рис. 2.4).

СД є єдиним централізованим джерелом інформації для всієї предметної області, а ВД є підмножинами даних зі сховища, організованими для представлення інформації по тематичних розділах даної області. Кінцеві користувачі мають можливість доступу до детальних даних сховища, якщо даних у вітрині недостатньо, а також для отримання повнішої інформаційної картини.

Перевагами такого підходу є:

• простота створення і наповнення ВД, оскільки наповнення походить з єдиного стандартизованого надійного джерела очищених даних — із СД;

• простота розширення СППР за рахунок додавання нових ВД;

• зниження навантаження на основне СД.

Рис. 2.4. Структура СППР з СД і ВД

До недоліків відносяться:

• надмірність (дані зберігаються як в СД, так і у ВД);

• додаткові витрати на розробку СППР з СД і ВД.

Підводячи підсумок аналізу шляхів реалізації СППР з використанням концепції СД, можна виділити наступну архітектуру таких систем:

СППР з фізичним (класичним) СД (див. рис. 2.1);

СППР з віртуальним СД (див. рис. 2.2);

СППР з ВД (див. рис. 2.3);

СППР з фізичним СД і з ВД (рис. 2.4).

В разі архітектури з фізичним СД і/чи ВД необхідно приділити увагу питанням організації (архітектури) СД і перенесенню даних з ОДД в СД.