- •6.050103 - «Програмна інженерія»
- •Списокскорочень
- •Семестровий модуль 1 Змістовний модуль 1 Системи підтримки ухвалення рішення лекція №1 Введення в бізнес-інтелект
- •Питання для самоперевірки
- •Лекція №2 Поняття сховища даних
- •Питання для самоперевірки
- •Змістовний модуль 2 olap-системи лекція №3 Аналітичні (olap) системи
- •Питання для самоперевірки
- •Лекція №4 Архітектура сховища даних
- •Питання для самоперевірки
- •Змістовний модуль 3 Багатомірні куби Лекція №5 Багатомірний куб. Основні поняття
- •Питання для самоперевірки
- •Лекція №6 Ієрархії вимірів. Схеми кубу «зірка» та «сніжинка»
- •Питання для самоперевірки
- •Лекція №7 Агрегація даних у багатомірному кубі
- •Лекція №8 Агреговані значення для різних видів вимірів
- •Питання для самоперевірки
- •Семестровий модуль 2 Змістовний модуль 4 Підготовка даних для сд лекція №9 Витяг, перетворення й завантаження даних
- •Питання для самоперевірки
- •Лекція №10 Очищення даних
- •Питання для самоперевірки
- •Лекція №11 Очищення даних (продовження)
- •Питання для самоперевірки
- •Змістовний модуль 5 Мова багатомірних виражень mdх лекція №12 Мова багатомірних виражень mdx. Основні поняття
- •Питання для самоперевірки
- •Лекція №13 Мова багатомірних виражень mdx. Запит до кубу
- •Питання для самоперевірки
- •Лекція №14 Функції мови багатомірних виражень mdx
- •Ці запити повертають різні результати.
- •Питання для самоперевірки
- •Змістовний модуль 6 Проблеми побудови сд лекція №15 Ключові показники ефективності
- •Питання для самоперевірки
- •Список літератури
Семестровий модуль 1 Змістовний модуль 1 Системи підтримки ухвалення рішення лекція №1 Введення в бізнес-інтелект
Розглядаються такі питання:
причини розвитку аналітичних засобів;
поняття бізнес-інтелекту (BI);
основні види аналітичної діяльності;
інструменти сучасних BI-Засобів.
Одержання аналітичної звітності в інформаційних системах, заснованих на традиційних базах даних (БД), пов’язано з рядом обмежень:
розробка кожного звіту вимагає роботи програміста;
звіти формуються дуже повільно (найчастіше кілька годин), сповільнюючи при цьому роботу всієї інформаційної системи;
дані, одержувані від різних структурних елементів компанії, не уніфіковані й часто суперечливі.
У багатьох компаніях у процесі складання звіту беруть участь два фахівці - програміст, що забезпечує запити до баз даних, і економіст, що намагається за допомогою електронних таблиць звести ці дані у звіт, необхідний керівництву. Як показує практика, подібна модель взаємодії користувача звіту (керівника) і самих даних часто приводить до ефекту «зіпсованого телефону», не говорячи вже про істотні витрати часу.
Економіст найчастіше виявляється просто не в змозі без допомоги програміста оперативно підготувати необхідну вибірку й відповісти на питання про те, яким способом були отримані ті або інші цифри. Звичайно, не йде й мови про те, щоб моделювати можливі ситуації, відслідковувати вплив одних показників на інші, прогнозувати тенденції розвитку, проводити порівняльний аналіз і відображати різні зрізи даних.
Швидка й адекватна реакція на зміну зовнішніх умов в остаточному підсумку визначає позицію, займану компанією на ринку. Якість інформації, уміння її обробляти й аналізувати, швидкість прийняття рішень за результатами цього аналізу – фактори, від яких залежить успіх або неуспіх компанії в конкурентній боротьбі.
Однак скористатися потенційною перевагою, що дає володіння інформацією, вдається не всім. По-перше, тому, що інформація, яку керівництво компанії одержує з різних джерел, розрізнена. По-друге, неповнота даних різко знижує продуктивність і якість аналізу. А найчастіше менеджерам, навпаки, доводиться мати справа із занадто великим потоком даних, що також утрудняє прийняття зваженого й обміркованого рішення. В обох випадках основна проблема в тім, що інформація, яку має менеджер компанії, не орієнтована на задачі керування бізнесом, і представлена вона в такій формі, що нею незручно користуватися в процесі прийняття управлінських рішень. Такі, наприклад, пропоновані багатьма системами керування стандартні набори звітів: менеджер одержує набір даних, але не засоби для їхнього аналізу.
Для адекватної оцінки ситуації й вироблення оптимального рішення необхідно певним чином класифікувати й систематизувати дані, відсіяти несуттєві факти й спроектувати наявні дані на конкретне бізнес-завдання.
Отже, перед компанією виникає задача перетворення «даних» в «інформацію», що відповідає потребам процесу аналізу й прийняття рішень. Для менеджера інформація – це сировина для прийняття рішень. До інформації, як до будь-якої сировини, пред'являються вимоги якості. Вона повинна бути бізнес-орієнтованою (оперативні дані перетворені в бізнес-зміст), актуальна (відповідати поточному стану бізнесу), доступна (кожному менеджерові в зручній формі й в обсязі, що відповідає посадовим обов'язкам), достовірна (коректна й перевірена), повна (що необхідно для ухвалення вірного рішення) і хронологічна.
Зараз у багатьох організаціях накопичені значні обсяги даних, на основі яких можна вирішувати різноманітні аналітичні й управлінські задачі. Проблеми зберігання й обробки аналітичної інформації стають усе більше актуальними, що привело до формування повноцінного ринку технологій бізнесу-аналізу.
В ідеалі робота аналітиків і керівників різних рівнів повинна бути організована так, щоб вони могли мати доступ до всієї їхньої інформації, яка потрібна, і користуватися зручними й простими засобами представлення й роботи із цією інформацією.
Агентство Gartner Group, що займається аналізом ринків інформаційних технологій, в 1980-х роках увело термін «Business Intelligence», діловий інтелект або бізнес-інтелект. Business Intelligence (BI) – це користувачевоцентріський процес, що включає доступ і дослідження інформації, її аналіз, виробіток інтуїції й розуміння, які ведуть до поліпшеного й неформального прийняття рішень. Цей термін запропонований для опису різних концепцій і методів, які поліпшують бізнес рішення шляхом використання систем підтримки прийняття рішень (СППР, DSS – Decision Support Sysytem).
В 1996 році агентство уточнило визначення даного терміна. BI – програмні засоби, які функціонують у рамках підприємства і які забезпечують функції доступу й аналізу інформації, що перебуває в сховищі даних, а також забезпечують прийняття правильних і обґрунтованих управлінських рішень.
TDWI (The Data Warehousing Institute) (www.dmreview.com): запропонувало наступне визначення «Business intelligence належить до процесу перетворення даних у знання, а знань у дії бізнесу для одержання вигоди. Є діяльністю кінцевого користувача, яку полегшують різні аналітичні й групові інструменти й застосування, а також інфраструктура сховища даних».
Іноді в це поняття BI включають і технологію керування знаннями Knowledge Management (КМ), яка, однак більше пов'язана з аналізом неструктурованої або слабоструктурованої інформації (наприклад, HTML), що не є предметом аналізу BI-інструментів. KM забезпечує категоризацію, розвідку й семантичну обробку текстів, розширений пошук інформації й ін. Технологія BI має відношення до аналізу фактографічної структурованої (бази даних, плоскі файли й інші ODBC або OLE DB-джерела даних) і квазіструктурованої інформації (наприклад, XML).
Історично назви й зміст інформаційно-аналітичних систем змінювалися від інформаційних систем керівника (executive information systems, EIS) до систем підтримки прийняття рішень (decision support systems, DSS) і зараз до систем бізнесу-інтелекту.
Застосування EIS були налаштовані на потреби керівників і менеджерів і давали можливість одержувати основну агреговану інформацію про стан їхнього бізнесу у вигляді таблиць або діаграм. Звичайно вони включали регламентні запити з набором параметрів. Такі пакети звичайно розроблялися силами своїх підрозділів інформаційних технологій (ІТ). Для одержання додаткової інформації й проведення подальшого аналізу застосовувалися інші застосування або створювалися за замовленням запити або звіти на SQL.
Застосування DSS першого покоління були пакетами прикладних програм з динамічною генерацією SQL-скриптів по типу запитуваної користувачем інформації. Вони дозволяли аналітикам одержувати інформацію з реляційних БД, не вимагаючи знання SQL. На відміну від EIS застосування DSS можуть відповідати на широкий спектр питань бізнесу, мають кілька варіантів представлення звітів і певні можливості форматування. Однак гнучкість таких пакетів все-таки була обмежена через орієнтацію на конкретний набір задач.
Із приходом персональних комп'ютерів і локальних мереж наступне покоління застосувань DSS будується вже на основі BI і дозволяє користувачеві-непрограмістові легко й оперативно витягати інформацію з різних джерел, формувати власні налаштовуванізвіти, або графічні представлення, проводити багатомірний аналіз даних. Розвиток систем бізнес-інтелекту пройшов шлях від «товстих» клієнтів до Web-застосувань, у яких користувач веде дослідження за допомогою браузера й може працювати віддалено. Можна також створювати сценарії «що якщо» і колективно переглядати й обновляти інформацію.
У цей час прийнято розрізняти наступні основні види аналітичної діяльності:
стандартна звітність;
нерегламентовані запити;
багатомірний аналіз (OLAP – online analytical processing);
інтелектуальний аналіз даних (розвідка даних – data mining).
Інтелектуальний аналіз даних (ІАД) розглядається як процес підтримки прийняття рішень, заснований на пошуку в даних схованих закономірностей.
Розвідка даних являє собою процес виявлення кореляції, тенденцій, шаблонів, зв'язків і категорій. Вона виконується шляхом ретельного дослідження даних з використанням технологій розпізнавання шаблонів, а також статистичних і математичних методів. При розвідці даних багаторазово виконуються різні операції й перетворення над сирими даними (відбір ознак, стратифікація, кластерізація, візуалізація й регресія), які призначені:
1) для знаходження представлень, які є інтуїтивно зрозумілими для людей, які, у свою чергу, краще розуміють бізнес-процеси, що лежать в основі їхньої діяльності;
2) для знаходження моделей, які можуть пророчити результат або значення певних ситуацій, використовуючи історичні або суб'єктивні дані.
Розвідка даних у значно меншому ступені направляється користувачем, замість цього покладається на спеціалізовані алгоритми, які встановлюють співвідношення інформації й допомагають розпізнати важливі (і раніше невідомі) тенденції, вільні від упередженості й припущень користувача.
Більшість методів ІАД розроблено в рамках теорії штучного інтелекту й прийнято розглядати його як процес підтримки прийняття рішень із використанням пошуку в даних схованих закономірностей (інформаційних шаблонів). У процесі ІАД витягають шаблони й тренди, що існують у даних. Такі шаблони й тренди можуть бути зібрані воєдино й визначені як модель інтелектуального аналізу даних.
Основними задачамиІАД є:
Класифікація (Classification). НайпоширенішазадачаІАД. У результаті рішення задачі класифікації виявляються ознаки, які характеризують групи об'єктів (класи). По цих ознаках новий об'єкт можна віднести до того або іншого класу.
Кластерізація (Clustering). Кластерізація є логічним продовженням ідеї класифікації. Цязадачабільш складна, особливість кластерізації полягає в тім, що класи об'єктів спочатку не визначені. Результатом кластерізації є розбивка об'єктів на групи.
Асоціація (Associations). У ході рішення задачі пошуку асоціативних правил відшукуються закономірності між зв'язаними подіями в наборі даних. Відмінність асоціації від двох попередніх задач Data Mining: пошук закономірностей здійснюється не на основі властивостей аналізованого об'єкта, а між декількома подіями, які відбуваються одночасно.
Послідовність (Sequence). Послідовність дозволяє знайти часові закономірності між транзакціями. Задача послідовності подібна асоціації, але її метою є встановлення закономірностей не між одночасно наступаючими подіями, а між подіями, зв'язаними в часі. Інакше кажучи, послідовність визначається високою ймовірністю ланцюжка зв'язаних у часі подій. Фактично, асоціація є окремимвипадком послідовності з часовим лагом, рівним нулю.
Прогнозування (Forecasting). У результаті рішення задачі прогнозування на основі особливостей історичних даних оцінюються пропущені або ж майбутні значення цільових чисельних показників. Для рішення таких задач широко застосовуються методи математичної статистики..
Аналіз відхилень (Deviation Detection). Даназадача вирішується з метою виявлення й аналіз даних, які найбільш відрізняються від загальної множини даних, тобто виявлення нехарактерних шаблонів.
При поставці сучасних BI-засобів використовуються різні інструменти й підходи. Більшість інструментів працюють спільно, хоча в процесі прийняття рішень вони грають різні ролі. Нижче перераховані інструменти BI:
сервери реляційних баз даних;
OLAP-сервери;
сховища даних;
вітрини даних;
інструменти перетворення й очищення даних;
інструменти звітності;
інструменти аналізу й дослідження;
засоби візуалізації;
засоби розвідки даних (data mining);
карти показників, портали й інструментальні панелі;
електронні таблиці;
засоби моделювання й прогнозування;
аналітичні застосування.
