7. Визначення поняття "інтелектуальний аналіз даних".

Визначення. Data Mining - дослідження та виявлення "машиною" (алгоритмами, засобами штучного інтелекту) у сирих даних прихованих знань, які раніше не були відомі, нетривіальні, практично корисні, доступні для інтерпретації людиною.

Знання повинні бути нові, раніше невідомі. Затрачені зусилля на відкриття знань, які вже відомі користувачеві, не окупаються. При цьому цінність представляють саме нові, раніше невідомі знання.

Знання повинні бути нетривіальні. Результати аналізу повинні відображати неочевидні, несподівані закономірності в даних, що складають так звані приховані знання. Результати, які могли б бути отримані більш простими способами (наприклад, візуальним переглядом), не виправдовують залучення потужних методів Data Mining.

Знання повинні бути практично корисні. Знайдені знання повинні бути застосовні, в тому числі і на нових даних, з досить високим ступенем достовірності. Корисність полягає в тому, щоб ці знання могли принести певний зиск при їх застосуванні.

Знання повинні бути доступні для розуміння людини. Знайдені закономірності повинні бути логічно пояснимі, в іншому випадку існує ймовірність, що вони є випадковими. Крім того, виявлені знання повинні бути представлені в зрозумілому для людини вигляді.

У Data Mining для представлення отриманих знань служать моделі. Види моделей залежать від методів їх створення. Найбільш поширеними є: правила, дерева рішень, кластери та математичні функції. Мета Data Mining полягає у виявленні прихованих правил і закономірностей в наборах даних.

7. Основні задачі інтелектуального аналізу даних.

опис основних задач аналізу даних.

Рішення завбачувальних (predictive) задач розбивається на два етапи. На першому етапі на підставі даних з відомими результатами будується модель. На другому етапі вона використовується для передбачення результатів на підставі нових наборів даних.

1. Задача класифікації зводиться до визначення класу об'єкта за його характеристиками. Необхідно зауважити, що в цій задачі множина класів, до яких може бути віднесений об'єкт, заздалегідь відома.

У Data Mining задачу класифікації розглядають як задачу визначення значення одного з параметрів аналізованого об'єкта на підставі значень інших параметрів. Параметр, що визначається, часто називають залежною змінною, а параметри, які беруть участь у його визначенні - незалежними змінними. У розглянутих прикладах незалежними змінними є:

• зарплата, вік, кількість дітей і т. д.;

• частота певних слів;

• значення кольору пікселів матриці.

Залежними змінними в цих же прикладах були:

• кредитоспроможність клієнта (можливі значення цієї змінної "так" і "ні");

• тип повідомлення (можливі значення цієї змінної "spam" і "mail");

• цифра образу (можливі значення цієї змінної 0, 1, ..., 9).

2. Задача регресії, подібно до задачі класифікації дозволяє визначити за відомими характеристиками об'єкта значення деякого його параметра. На відміну від задачі класифікації значенням параметра є не кінцева множина класів, а множина дійсних чисел.

Необхідно звернути увагу, що у всіх розглянутих прикладах змінна приймала значення з кінцевої множини значень: (так, ні), (spam, mail), (0, 1 ,..., 9). Якщо значеннями незалежних та залежних змінних є дійсні числа, то задача називається задачею регресії. Прикладом задачі регресії може служити задача визначення суми кредиту, яка може бути видана банком клієнту.

Задача класифікації і регресії вирішується в два етапи. На першому виділяється навчальна вибірка. До неї входять об'єкти, для яких відомі як незалежні, так і залежні змінні. В описаних раніше прикладах такими навчальними вибірками можуть бути:

• інформація про клієнтів, яким раніше видавалися кредити на різні суми, та інформація про їх погашення;

• повідомлення, які класифікуються вручну як спам або як лист;

• розпізнані раніше матриці образів цифр.

На підставі навчальної вибірки будується модель визначення значення залежної змінної. Її часто називають функцією класифікації або регресії. Для отримання максимально точної функції до навчальної вибірки пред'являються наступні основні вимоги:

• кількість об'єктів, що входять у вибірку, повинна бути достатньо великою. Чим більше об'єктів, тим побудована на її основі функція класифікації або регресії буде точніше;

• у вибірку повинні входити об'єкти, що представляють усі можливі класи у випадку завдання класифікації або всю область значень у випадку задачі регресії;

• для кожного класу в задачі класифікації чи кожного інтервалу області значень в задачі регресії вибірка повинна містити достатню кількість об'єктів.

На другому етапі побудовану модель застосовують до об'єктів, що аналізуються (до об'єктів з невизначеним значенням залежної змінної).

метод їх виявлення

. Основні проблеми, з якими стикаються при вирішенні задач класифікації і регресії, - це незадовільна якість вихідних даних, в яких зустрічаються як помилкові дані, так і пропущені значення, різні типи атрибутів - числові і категорійні, різна значимість атрибутів, а також так звані проблеми overfitting і underfitting. Суть першої з них полягає в тому, що класифікаційна функція при побудові "дуже добре" адаптується до даних, і помилки та аномальні значення, що зустрічаються в них, намагається інтерпретувати як частину внутрішній структури даних. Очевидно, що така модель буде некоректно працювати надалі з іншими даними, де характер помилок буде декілька інший. Терміном underfitting позначають ситуацію, коли кількість помилок при перевірці класифікатора на навчальної множині надто велика. Це означає, що особливих закономірностей в даних не було виявлено і або їх немає взагалі, або необхідно вибрати інший

Описові (descriptive) завдання приділяють увагу поліпшенню розуміння аналізованих даних.

3. При пошуку асоціативних правил метою є знаходження частих залежностей (або асоціацій) між об'єктами або подіями. Знайдені залежності представляються у вигляді правил і можуть бути використані як для кращого розуміння природи аналізованих даних, так і для передбачення появи подій.

Пошук асоціативних правил є одним з найпопулярніших застосувань Data Mining. Суть завдання полягає у визначенні наборів об'єктів, що часто зустрічаються у великої множині таких наборів. Ця задача є окремим випадком задачі класифікації. Спочатку вона вирішувалась при аналізі тенденцій в поведінці покупців у супермаркетах. Аналізу піддавалися дані про здійснювані ними покупки, які покупці складають у візок (кошик). Це послужило причиною іншої часто використовуваної назви - аналіз ринкових кошиків При аналізі цих даних інтерес перш за все представляє інформація про те, які товари купуються разом, в якій послідовності, які категорії споживачів, якім товарам віддають перевагу, в які періоди часу тощо. Така інформація дозволяє більш ефективно планувати закупівлю товарів, проведення рекламної кампанії тощо.

Наприклад, з набору покупок, здійснених в магазині, можна виділити наступні набори товарів, які купуються разом:

П {чіпси, пиво}; О {вода, печиво}.

Отже, можна зробити висновок, що якщо купуються чіпси або горіхи, то, як правило, купують пиво або воду відповідно. Володіючи такими знаннями, можна розмістити ці товари поруч, об'єднати їх в один пакет зі знижкою або виконати інші дії, що стимулюють покупця придбати товар.

У медицині аналізу можуть піддаватися симптоми та хвороби, які спостерігаються у пацієнтів. В цьому випадку знання про те, які поєднання хвороб і симптомів зустрічаються найбільш часто, допомагають в майбутньому правильно ставити діагноз.

При аналізі часто викликає інтерес послідовність. При виявленні закономірностей в таких послідовностях можна з деякою часткою ймовірності передбачати появу подій у майбутньому, що дозволяє приймати більш правильні рішення. Таке завдання є різновидом завдання пошуку асоціативних правил і називається сіквенціальним аналізом.

4. Задача кластерізації полягає у пошуку незалежних груп (кластерів) та їх характеристик у всієї множині аналізованих даних. Вирішення цієї задачі допомагає краще зрозуміти дані. Крім того, групування однорідних об'єктів дозволяє скоротити їх кількість, а отже, і полегшити аналіз.

Задача кластерізації полягає в розділенні досліджуваної множини об'єктів на групи "схожих" об'єктів, які називаються кластерами.

Кластерізація може використовуватися практично в будь-якій галузі, де необхідно дослідження експериментальних або статистичних даних. Розглянемо приклад з області маркетингу, в якому дана задача називається сегментацією

Концептуально сегментування базується на передумові, що всі користувачі - різні. У

них різні потреби, різні вимоги до товару, вони ведуть себе по-різному: в процесі вибору товару, в процесі придбання товару, в процесі використання товару, в процесі формування реакції на товар. У зв'язку з цим необхідно по-різному підходити до роботи зі споживачами: пропонувати їм різні за своїми характеристиками товари, по-різному просувати і продавати товари. Для того щоб визначити, чим відрізняються споживачі один від одного і як ці відмінності позначаються на потребах до товару, і проводиться сегментування споживачів.

Кластерізація відрізняється від класифікації тим, що для проведення аналізу не потрібно мати виділену залежну змінну

По-перше, рішення сильно залежить від природи об'єктів даних (та їх атрибутів). Так, з одного боку, це можуть бути однозначно визначені, чітко кількісно обкреслені об'єкти, а з іншого - об'єкти, які мають чіткий або не чіткий опис.

По-друге, рішення значно залежить також і від представлення кластерів і від передбачуваних відносин об'єктів даних і кластерів. Так, необхідно враховувати такі властивості, як можливість/неможливість приналежності об'єктів декільком кластерам. Необхідно визначення самого поняття приналежності кластеру: однозначна (належить / не належить), імовірнісна (імовірність приналежності), нечітка (ступінь приналежності).