6. Перцептрони

Поки про проблему навчання розпізнаванню образів вдавалося говорити загалом, не виділяючи конкретні методи або алгоритми, не виникало й труднощів, що з'являються всякий раз, коли доводиться розбиратися у безлічі конкретних прикладів, що характеризуються загальними підходами до рішення проблеми НРО. Підступність самої проблеми полягає в тому, що на перший погляд всі методи і алгоритми здаються зовсім різними і, що найнеприємніше, часто ніякий з них не придатний для рішення того завдання, яке конче потрібно терміново вирішити. І тоді з'являється бажання видумати новий алгоритм, який можливо досягне мети. Очевидно, саме це привело до виникнення величезної множини алгоритмів, у якій не так легко розібратися.

Один з методів рішення завдань навчання розпізнаванню образів заснований на моделюванні гіпотетичного механізму людського мозку. Структура моделі заздалегідь постулюється. При такому підході рівень біологічних знань або гіпотез про біологічні механізми є вхідною передумовою, на якій базуються моделі цих механізмів. Прикладом такого напрямку в теорії й практиці проблеми НРО є клас пристроїв, названих перцептронами. Слід зазначити, що перцептрони на етапі свого виникнення розглядалися тільки як евристичні моделі механізму мозку. Згодом вони стали основною схемою в побудові кусково-лінійних моделей, що навчаються розпізнаванню образів.

У найбільш простому вигляді перцептрон (рис. 3) складається із сукупності чутливих (сенсорних) елементів (S-елементів), на які надходять вхідні сигнали.

S-елементи випадковим чином пов'язані із сукупністю асоціативних елементів (А-елементів), вихід яких відрізняється від нуля тільки тоді, коли порушена досить велика кількість S-елементів, що впливають на один А-елемент.

А-елементи з'єднані з реагуючими елементами (R-елементами) зв'язками, коефіцієнти підсилення (v) є змінними і змінюються в процесі навчання. Зважені комбінації виходів R-елементів становлять реакцію системи, яка вказує на належність розпізнаваного об'єкта певному образу. Якщо розпізнаються тільки два образи, то в перцептроні встановлюється тільки один R-елемент, що володіє двома реакціями – позитивною й негативною. Якщо образів більше двох, то для кожного образу встановлюють свій R-елемент, а вихід кожного такого елементу представляє лінійну комбінацію виходів A-елементів:

(1)

де R_j – реакція j-го R-елементу;

x_i – реакція i-го A-елементу;

v_ij – вага зв'язку від i-го A-елементу до j-го R-елементу;

Θ_j – поріг j-го R-елементу.

Аналогічно записується рівняння i-го A-елементу:

(2)

Тут сигнал y_k може бути безперервним, але найчастіше він приймає тільки два значення: 0 або 1. Сигнали від S-елементів подаються на входи А-елементів з постійними вагами, рівними 1, але кожен А-елемент зв'язаний тільки із групою випадково обраних S-елементів. Припустимо, що потрібно навчити перцептрон розрізняти два образи V₁ й V₂. Будемо вважати, що в перцептроні існує два R-елементи, один із яких призначений образу V₁, а інший – образу V₂. Перцептрон буде навчений правильно, коли вихід R₁ > R₂, якщо об'єкт розпізнавання належить образу V₁, і навпаки. Поділ об'єктів на два образи можна провести і за допомогою тільки одного R-елементу. Тоді об’єкту образу V₁ повинна відповідати позитивна реакція R-елементу, а об'єктам образу V₂ – негативна.

Перцептрон навчається шляхом пред'явлення навчальної послідовності зображень об'єктів, що належать образам V₁ й V₂. У процесі навчання змінюються ваги v_i А-елементів. Зокрема, якщо застосовується система підкріплення з корекцією помилок, то насамперед враховується правильність рішення, прийнятого перцептроном. Якщо рішення правильне, то ваги зв'язків всіх А-елементів, які спрацювали і ведуть до R-елементів, які видали правильне рішення, збільшуються, а ваги А-елементів, що не спрацювали, залишаються незмінними. Можна залишати незмінними ваги А-елементів, що спрацювали, але зменшувати ваги тих, які не спрацювали. У деяких випадках ваги зв'язків, що спрацювали, збільшують, а тих, які не спрацювали – зменшують. Після процесу навчання перцептрон сам, без учителя, починає класифікувати нові об'єкти.

Якщо перцептрон діє за описаною схемою і в ньому допускаються лише зв'язки, що йдуть від бінарних S-елементів до A-елементів і від A-елементів до єдиного R-елемента, то такий перцептрон прийнято називати елементарним α-перцептроном. Як правило класифікація C (W) задається вчителем. Перцептрон повинен виробити в процесі навчання класифікацію, задуману вчителем.

Про перцептрони було сформульовано і доведено кілька основних теорем, дві з яких, які визначають основні властивості перцептрона, наведені нижче.

Теорема 1. Клас елементарних α-перцептронов, для яких існує рішення для будь-якої задуманої класифікації, не є порожнім.

Ця теорема затверджує, що для будь-якої класифікації навчальної послідовності можна підібрати такий набір (з нескінченного набору) А-елементів, у якому буде здійснений задуманий поділ навчальної послідовності за допомогою лінійного вирішального правила.

Теорема 2. Якщо для деякої класифікації C (W) рішення існує, то в процесі навчання α-перцептрона з корекцією помилок, яке починається з довільного вихідного стану, це рішення буде досягнуто протягом кінцевого проміжку часу.

Зміст цієї теореми полягає в тому, що якщо стосовно задуманої класифікації можна знайти набір А-елементів, у якому існує рішення, то в рамках цього набору воно буде досягнуто в кінцевий проміжок часу.

Звичайно обговорюють властивості нескінченного перцептрона, тобто перцептрона з нескінченним числом А-елементів з усілякими зв'язками з S-елементами (повний набір A-елементів). У таких перцептронах рішення завжди існує, а раз воно існує, то воно й досяжне в α-перцептронах з корекцією помилок.

Дуже цікаву область досліджень являють собою багатошарові перцептрони і перцептрони з перехресними зв'язками, але теорія цих систем практично ще не розроблена.