2.9. Використання технології аналізування даних Data Mining

Термін “Data Mining” переводиться як “отримування” або “розкопка даних”. Нерідко поряд з Data Mining зустрічаються слова “виявлення знань в базах даних” і “інтелектуальний аналіз даних”. Їх можна вважати синонімами Data Mining. Виникнення всіх наведених термінів пов'язано з новим витком в розвитку засобів і методів обробки даних.

Отже, Data Mining − клас аналітичного прикладного ПЗ, який підтримує рішення, розшукуючи за прихованими взірцями (pattens,шаблонами, формами, зразками, образами) інформацію в БД.

До початку 90-х років минулого століття, здавалося, не було особливої потреби в переосмислюванні ситуації в цій сфері. Все йшло своєю чергою в рамках напрямку, названому “прикладною статистикою”. Теоретики проводили конференції й семінари, писали значні статті та монографії, що рясніли аналітичними викладеннями.

Разом з тим, практика доводила, що спроби застосування теоретичного екзерсису для вирішення реальних задач здебільшог виявляються безплідними. Але на заклопотаність практиків до певного часу можна було не звертати особливої уваги − вони вирішували в основнму свої приватні проблеми обробки невеликих локальних БД.

Однак, у зв'язку з вдосконаленням технологій запису і зберігання даних на людей обрушилися колосальні потоки інформаційної руди в самих різних сферах. Діяльність будь-якого підприємства (комерційного, виробничого, медичного, наукового і т.д.) тепер супроводжується реєстрацією і записом всіх подробиць його діяльності. Що робити з цією інформацією? Стало ясно, що без продуктивної переробки потоки “сирих” даних утворюють ні кому не потрібне звалище.

Специфіка сучасних вимог до такої переробки наступна:

• дані є різнорідними (кількісними, якісними, текстовими);

• дані мають необмежений обсяг;

• інструменти для обробки “сирих” даних повинні бути прості у використанні;

• результати повинні бути конкретні та зрозумілі.

Традиційна математична статистика, що довгий час претендувала на роль основного інструменту аналізування даних, відверто спасувала перед виниклими проблемами. Основна причина − концепція усереднювання за вибіркою, що приводить до операцій над фіктивними величинами (типу середньої температури пацієнтів по лікарні; середньої висоти будинку на вулиці, складеної з палаців і халуп, і т. ін.). Методи математичної статистики виявилися корисними головним чином для перевірки наперед сформульованих гіпотез (verification-driven data mining) і для “грубого” розвідувального аналізу, що становить основу оперативної аналітичної обробки даних (OLAP).

В основу сучасної технології Data Mining (discovery-driven data mining) встановлена концепція шаблонів (патернів), що відображають фрагменти багатоаспектних взаємостосунків в даних. Ці шаблони є закономірностями, властивими підвибірками даних, які можуть бути компактно виражені в зрозумілій людині формі. Пошук шаблонів проводиться методами, не обмеженими рамками апріорних припущень про структуру вибірки і виду розподілів значень аналізованих показників. Приклади завдань на такий пошук при використанні Data Mining приведені в табл. 2.4.

Таблиця 2.4