10.3 Квантування навчального вектора (Learning Vector Quantization)

Мережа запропонована Тойво Кохоненом у середині 80-х рр., набагато пізніше за його початкову роботу по самоорганізованим картам. Мережа базується на прошарку Кохонена, який здатний до сортування прикладів у відповідні кластери і використовується як для проблем класифікації, так і для кластеризації зображень.

Мережа містить вхідний прошарок, самоорганізовану карту Кохонена та вихідний прошарок. Приклад мережі зображений на рис.10.3. Вихідний прошарок має стільки нейронів, скільки є відмінних категорій або класів. Карта Кохонена має ряд нейронів, згрупованих для кожного з цих класів. Кількість елементів обробки на один клас залежить від складності відношення “вхід-вихід”. Звичайно, кожен клас буде мати однакову кількість елементів по всьому прошарку. Прошарок Кохонена навчається класифікації за допомогою навчальної множини. Мережа використовує правила контрольованого навчання. Вхідний прошарок повинен містити лише один нейрон для кожного окремого вхідного параметра.

Квантування навчального вектора класифікує вхідні дані у визначені групування, тобто відображає n-вимірний простір у m-вимірний простір (бере n входів і створює m виходів). Карти зберігають відношення між близькими сусідами у навчальній множині так, що вхідні образи, які не були попередньо вивчені, будуть розподілені за категоріями їх найближчих сусідів у навчальних даних.

Рисунок 10.3 – Приклад мережі з квантуванням навчального вектора

У режимі навчання, контрольована мережа використовує прошарок Кохонена, де обчислюється відстань від навчального вектора до кожного нейрону і найближчий нейрон оголошується переможцем. Існує лише один переможець на весь прошарок. Переможцю дозволено збуджувати лише один вихідний нейрон, оголошуючи клас або кластер до якого належить вхідний вектор. Якщо нейрон-переможець знаходиться у очікуваному класі навчального вектора, його ваги підсилюються у напрямку навчального вектора. Якщо нейрон-переможець не є у класі навчального вектора, ваги з’єднань зменшуються. Ця остання операція згадується як відштовхування (repulsion). Під час навчання окремі нейрони, що приписані до часткового класу мігрують до області, пов’язаної з їх специфічним класом.

Під час режиму функціонування, обчислюється відстань від вхідного вектора до кожного нейрону і знову найближчий нейрон оголошується переможцем. Це в свою чергу генерує один вихід, визначаючи частковий клас, знайдений мережею.

Недоліки: для складних проблем класифікації з подібними вхідними прикладами, мережа вимагає великої карти Кохонена з багатьма нейронами на клас. Це вибірково може бути подолано вибором доцільних навчальних прикладів або розширенням вхідного прошарку.

Мережа квантування навчального вектора страждає від дефекту, що деякі нейрони мають тенденцію до перемоги занадто часто, тобто налаштовують свої ваги дуже швидко, а інші постійно залишаються незадіяними. Це часто трапляється, коли їх ваги мають значення далекі від навчальних прикладів. Щоб пом’якшити цю проблему, нейрон, який перемагає занадто часто штрафується, тобто зменшуються ваги його зв’язків з кожним вхідним нейроном. Це зменшення ваг є пропорційним до різниці між частотою перемог нейрону та частотою перемог середнього нейрону.

Переваги. Алгоритм граничної корекції використовується для вдосконалення рішення навіть коли було знайдено відносно добре рішення. Алгоритм спроможний діяти, коли нейрон-переможець знаходиться у неправильному класі, а другий найкращий нейрон у правильному класі. Навчальний вектор повинен бути близько від середньої точки простору, що з’єднує ці два нейрони. Неправильний нейрон-переможець зміщується з навчального вектора, а нейрон з іншого місця посувається до навчального вектора. Ця процедура робить чіткішою межу між областями, де можлива невірна класифікація.

На початку навчання бажано відключити відштовхування. Нейрон-переможець пересувається до навчального вектора лише тоді, коли навчальний вектор та нейрон-переможець знаходяться в одному класі. Це право вибору доцільне, коли нейрон повинен оминати область, яка має відмінний клас для досягнення необхідної області.