Лабораторна робота №3 Інтелектуальний аналіз даних за допомогою програмного пакета weka. Метод найближчих сусідів. Вступ

У двох попередніх лабораторних роботах ми розглянули основні концепції інтелектуального аналізу даних. 

Перший вивчений нами метод - метод регресійного аналізу використовується для прогнозування чисельного результату (наприклад, вартості будинку), ґрунтуючись на аналогічних відомих прикладах. 

Другий метод, метод класифікації, так само відомий як метод класифікаційних дерев або дерев рішень, дозволяє створити дерево для прогнозування можливого значення невідомої величини (у розглянутому прикладі ми спробували передбачити ефективність рекламної компанії BMW). 

Крім того, ми познайомилися з методом кластеризації, який дозволяє розбити наявні дані на кластери (групи) і для кожної з груп виявити свої тенденції і правила (в якості конкретного прикладу використовувалися дані про продажі BMW). Всі ці методи дозволяють перетворити наші дані в корисну інформацію, проте кожен з них використовує свій власний аналітичний підхід, свої типи та набори даних, що, власне, і визначає один з найважливіших аспектів інтелектуального аналізу даних: для того, щоб розробити ефективну модель аналізу, необхідно визначити правильний набір вхідних даних.

В цій лабораторній роботі ми познайомимося з ще одним часто вживаним методом інтелектуального аналізу даних - методом найближчих сусідів. Цей метод може розглядатися як свого роду комбінація методів класифікації та кластеризації і являє собою потужне знаряддя в боротьбі з неінформативністю даних.

Метод найближчих сусідів

Метод найближчих сусідів, так само відомий як метод колаборативної фільтрації або метод навчання на прикладах, є досить корисним способом інтелектуального аналізу даних, що дозволяє використовувати накопичені приклади з відомим результатом для прогнозування очікуваного результату для нових зразків даних. Подібне визначення схоже на визначення методів регресійного аналізу та класифікації. Чим же новий метод відрізняється від них? По-перше, як ви пам'ятаєте, метод регресійного аналізу використовується для прогнозування чисельного результату. Це його основна відмінність від методу найближчих сусідів. Метод класифікації, як ми переконалися на розглянутих раніше завданнях, використовує кожне значення для створення дерева рішень, по якому потрібно пройти для визначення кінцевого результату. Подібний підхід може викликати певні складнощі. Задумайтеся, наприклад, про діяльність такої компанії, як Amazon, і наданої їй функціональності «Покупці, які купили X, також купили і Y». Уявляєте, скільки гілок і вузлів включало б у себе класифікаційне дерево для подібного аналізу, якби компанія Amazon використовувала метод класифікації? Список продуктів містить кілька сотень тисяч різних найменувань, так що ви можете уявити собі обсяг результуючого дерева і його точність. Навіть якщо ви дійшли до останньої гілки, то ви з подивом виявите, що вона містить всього 3 продукти, в той час як Amazon зазвичай пропонує своїм відвідувачам 12 продуктів. Так що класифікаційне дерево є не надто придатною моделлю для такого аналізу.

Ви побачите, що метод найближчих сусідів в змозі успішно вирішити ці проблеми, особливо проблему аналізу великих масивів даних, таких, якими оперує, наприклад, Amazon. Метод не має обмежень по кількості порівнянь і однаково добре працює і з базою даних, яка містить інформацію про 20 користувачів, і з базою даних, що нараховує 20 мільйонів користувацьких записів. Крім того, ви самі можете визначити, скільки варіантів рішень ви хочете отримати в результаті роботи методу.

Давайте коротко розглянемо математичний алгоритм, використовуваний в методі найближчих сусідів, щоб вам було простіше розібратися, як працює цей метод, і краще зрозуміти його обмеження.