2.2. Використання нейронних мереж в якості класифікатора

Мережі з прямим зв'язком є універсальним засобом апроксимації функцій, що дозволяє їх використовувати у вирішенні задач класифікації. Як правило, нейронні мережі виявляються найбільш ефективним способом класифікації, тому що генерують фактично велике число регресійних моделей (які використовуються у вирішенні задач класифікації статистичними методами).

Багаті можливості відображення особливо важливі в тих випадках, коли на основі кількох оцінок будується Високорівнева процедура прийняття рішень. Відомо багато додатків нейронних мереж з прямим зв'язком до завдань класифікації. Як правило, вони виявляються ефективніше інших методів, тому що нейронна мережа генерує нескінченне число нелінійних регресійних моделей.

На жаль, у застосуванні нейронних мереж у практичних завданнях виникає ряд проблем. По-перше, заздалегідь не відомо, якої складності (розміру) може знадобитися мережа для досить точної реалізації відображення. Ця складність може виявитися надмірно високою, що потребує складної архітектури мереж. Так Мінський у своїй роботі "Персептрони" довів, що найпростіші одношарові нейронні мережі здатні вирішувати тільки лінійно роздільні завдання. Це обмеження можна подолати при використанні багатошарових нейронних мереж. У загальному вигляді можна сказати, що в мережі з одним прихованим шаром, вектор, відповідний вхідному зразку, перетворюється в прихований шар в деякий новий простір, який може мати іншу розмірність, а потім гіперплощини, відповідні нейронам вихідного шару, поділяють його на класи. Таким чином мережа розпізнає не тільки характеристики вихідних даних, але і " характеристики характеристик, сформовані прихованим шаром[24].

Все це підкреслює важливість етапу попередньої обробки даних. Чим більш компактно представлені характеристики зразків, тим менше залежність від настроюваних параметрів мережі (0 або 1).

2.3. Попередня обробка даних

Підвищення якості навчання нейронної мережі можливе при використанні ефективних методів попередньої обробки даних. Для обробки даних перед навчанням нейронної мережі пропонується використовувати метод, заснований на понятті профілю компактності і комбінаторних формулах для ефективного обчислення функціонала ковзкого контролю. Метод застосовується для підготовки даних в задачах класифікації [2]. Щоб звести своє завдання попередньої обробки даних у моделюванні до задачі попередньої обробки даних при класифікації даних (яка має рішення, що використовує профіль компактності), пропонується провести кластерний аналіз на вихідних параметрах нейронної мережі. Таким чином, будемо мати задачу класифікації, для якої відоме рішення попередньої обробки даних.

Метод, починаючи з повної вибірки, послідовно виключає об'єкти. На кожному кроці вибирається той об'єкт, виключення якого мінімізує функціонал. Виявляється, що процес відсіву об'єктів розбивається на дві стадії. Спочатку виключаються шумові, потім виключаються неінформативні периферійні об'єкти. Процес зупиняється, коли залишаються об'єкти, виключення яких помітно збільшує функціонал, тоді в масиві даних залишаються опорні об'єкти.

Основним результатом застосування комбінаторної формули для оцінки функціоналу повного ковзкого контролю є те, що вона однаково добре підходить як для виключення шумових об'єктів, так і для скорочення множини прецедентів, будучи при цьому ефективно обчислюваним, точним значенням функціоналу.

Метод спирається на припущення, яке називається гіпотезою компактності: схожі об'єкти набагато частіше лежать в одному класі, ніж в різних. У цьому випадку межа між класами має досить просту форму, а класи утворюють компактно локалізовані області в просторі об'єктів (у математичному аналізі компактними називаються обмежені замкнуті множини, гіпотеза компактності не має нічого спільного з цим поняттям).

Як правило, об'єкти навчання не є рівноцінними. Серед них можуть знаходитися типові представники класів - еталони. Якщо класифікується об'єкт близький до ідеалу, то, швидше за все, він належить тому ж класу. Ще одна категорія об'єктів - неінформативні, або периферійні. Вони щільно оточені іншими об'єктами того ж класу. Якщо їх видалити з вибірки, це практично не позначиться на якості навчання. Нарешті, у вибірку може потрапити деяка кількість шумових викидів - об'єктів, що знаходяться в чужому класі. Зазвичай їх видалення тільки покращує якість класифікації.

Виключення з вибірки шумових і неінформативних об'єктів дає кілька переваг одночасно: підвищується якість класифікації, скорочується обсяг збережених даних і зменшується час класифікації, що витрачається на пошук найближчих еталонів [5].

Перейдемо до розгляду функціоналу вибірки, що мінімізується. Нехай є множина об'єктів X і множина імен класів Y. Задана навчальна вибірка пар «об'єкт-відповідь»:

^.

Нехай на множині об'єктів задана функція відстані . Ця функція повинна бути досить адекватною моделлю подібності об'єктів. Чим менше значення цієї функції, тим більше схожі об'єкти x, x '.

Для довільного об'єкта u розташуємо об'єкти навчальної вибірки x_i в порядку зростання відстаней до u:

,

де через x_iu позначається елемент навчальної вибірки, який є i-м сусідом об'єкта u. Аналогічне позначення введемо і для відповіді на i-му сусіді - y_iu.

Кожен об'єкт u ∈ X породжує свою перенумерацію вибірки.

Розглядається метод найближчого сусіда, який відносить об'єкт u, що класифікується, до того класу, якому належить найближчий до u об'єкт навчальної вибірки: .

Профіль компактності вибірки X^m є функція:

.

Іншими словами, профіль компактності R (j) - це частка об'єктів вибірки, для яких j-й сусід лежить в іншому класі.

Профіль компактності є формальним виразом гіпотези компактності - припущення про те, що схожі об'єкти набагато частіше лежать в одному класі, ніж в різних. Вибірка X^L розбивається всілякими способами на дві непересічні підвибірки:

,

де - навчальна підвибірка довжини m;

- контрольна підвибірка довжини;

k = L - m, n = 1,..., N - номер розбиття.

Для кожного розбиття n будується алгоритм . Функціонал повного ковзкого контролю (complete cross-validation, CCV) визначається як середня (по всіх розбиттям) помилка на контролі:

^.

Функціонал повного ковзкого контролю характеризує узагальнюючу здатність методу найближчого сусіда.

Справедлива формула для ефективного обчислення CCV через профіль компактності:

^,

де

.

Комбінаторний множник Γ(j) швидко убуває із зростанням j. Для мінімізації функціоналу CCV достатньо, щоб при малих j профіль R (j, X^L) брав значення, близькі до нуля. Це означає, що близькі об'єкти повинні лежати переважно в одному класі. Таким чином, профіль дійсно є формальним виразом гіпотези компактності [5].

Пропонується використовувати кластерний аналіз для розділення значень виходів мережі на групи, щоб звести задачу попередньої обробки даних при моделюванні за допомогою нейронної мережі до задачі попередньої обробки даних при класифікації, в якій використовується теорія профілю компактності.

В якості характеристики близькості вихідних значень нейронної мережі взято евклідову відстань між точками. Для довільного вектора v з числом елементів n евклідова норма знаходиться наступним чином:

^.

Евклідова відстань є найпопулярнішою метрикою в кластерному аналізі: вона відповідає інтуїтивним уявленням про близькість і, крім того, дуже вдало вписується своєю квадратичною формою у традиційно статистичні конструкції. Геометрично вона найкраще об'єднує об'єкти в кулястих скупченнях, які дуже типові для слабо корельованих сукупностей.

На першому кроці кластерного аналізу кожен об'єкт вважається окремим кластером. На наступному кроці об'єднуються два найближчих об'єкта, які утворюють новий клас, визначаються відстані від цього класу до всіх інших об'єктів, і розмірність матриці відстаней скорочується на одиницю. Процедура повторюється на поточній матриці відстаней, поки не буде досягнуто деяке число кластерів.

Таким чином, пропонований метод попередньої обробки даних дає більш якісне навчання нейронної мережі. Попередня обробка полягає у видаленні з масиву суперечливих прикладів. Пошук таких прикладів заснований на теорії профілю компактності в задачі класифікації. Щоб використовувати відомі рішення (теорію профілю компактності) в задачі моделювання, необхідно за допомогою кластерного аналізу виділити групи над значеннями вихідних параметрів нейронної мережі [9].