12.1 Мережа Хемінга

Мережа Хемінга (Hamming) є розширенням мережі Хопфілда. Ця мережа була розроблена Річардом Ліппманом (Richard Lippman) у середині 80-х рр. Мережа Хемінга реалізує класифікатор, що базується на найменшій похибці для векторів двійкових входів, де похибка визначається відстанню Хемінга. Відстань Хемінга визначається як число бітів, які відрізняються між двома відповідними вхідними векторами фіксованої довжини. Один вхідний вектор є незашумленим прикладом образу, інший є спотвореним образом. Вектор виходів навчальної множини є вектором класів, до яких належать образи. У режимі навчання вхідні вектори розподіляються до категорій для яких відстань між зразковими вхідними векторами та біжучим вхідним вектором є мінімальною.

Мережа Хемінга має три прошарки: вхідний прошарок з кількістю вузлів, скільки є окремих двійкових ознак; прошарок категорій (прошарок Хопфілда), з кількістю вузлів, скільки є категорій або класів; вихідний прошарок, який відповідає числу вузлів у прошарку категорій.

Мережа є простою архітектурою (рис.12.1) прямого поширення з вхідним рівнем, повністю під’єднаним до прошарку категорій. Кожен елемент обробки у прошарку категорій є зворотно під’єднаним до кожного нейрона у тому ж самому прошарку і прямо під’єднаним до вихідного нейрону. Вихід з прошарку категорій до вихідного прошарку формується через конкуренцію.

Навчання мережі Хемінга є подібним до методології Хопфілда. На вхідний прошарок надходить бажаний навчальний образ, а на виході вихідного прошарку надходить значення бажаного класу, до якого належить вектор. Вихід містить лише значення класу до якої належить вхідний вектор. Рекурсивний характер прошарку Хопфілда забезпечує засоби корекції всіх ваг з’єднань.

Рисунок 12.1 – Структурна схема мережі Хемінга

Алгоритм функціонування мережі Хемінга:

- на стадії ініціалізації ваговим коефіцієнтам першого прошарку і порогу передавальної функції присвоюються такі значення:

W_ik=x_I^k/2, i=0...n-1, k=0...m-1

(12.1)

b_k = n / 2, k = 0...m-1

Тут x_i^k - i-ий елемент k-ого зразка.

Вагові коефіцієнти гальмуючих синапсів у другому прошарку беруть рівними деякій величині 0 < v < 1/m. Синапс нейрона, пов’язаний із його ж виходом має вагу +1.

- на входи мережі подається невідомий вектор x₁, x_i, x_n ... Розраховуються стани нейронів першого прошарку (верхній індекс у дужках вказує номер прошарку):

, j=0...m-1 (12.2)

Після цього отримання значення ініціалізують значення виходів другого прошарку:

y_j⁽²⁾ = y_j⁽¹⁾, j = 0...m-1 (12.3)

- обчислюються нові стани нейронів другого прошарку:

(12.4)

і значення їх виходів:

(12.5)

Передавальна функція f має вид порога, причому величина b повинна бути достатньо великою, щоб будь-які можливі значення аргументу не призводили до насичення.

- перевіряється, чи змінилися виходи нейронів другого прошарку за останню ітерацію. Якщо так - перейти до кроку 3: “обчислення нових станів нейронів другого прошарку” . Інакше - кінець.

Роль першого прошарку є умовною: скориставшись один раз на першому кроці значеннями його вагових коефіцієнтів, мережа більше не вертається до нього, тому перший прошарок може бути взагалі виключений із мережі.

Мережа Хемінга має ряд переваг над мережею Хопфілда. Вона реалізує оптимальний класифікатор мінімуму похибки, якщо похибки вхідних бітів є випадковими та незалежними. Для функціонування мережі Хемінга потрібна менша кількість нейронів, оскільки середній прошарок вимагає лише один нейрон на клас, замість нейрону на кожен вхідний вузол. І, нарешті, мережа Хемінга не страждає від неправильних класифікацій, які можуть трапитись у мережі Хопфілда. В цілому, мережа Хемінга є як швидшою, так і точнішою за мережу Хопфілда.