4. Гіпотеза компактності
Якщо припустити, що в процесі навчання простір ознак формується виходячи із задуманої класифікації, то тоді можна сподіватися, що завдання простору ознак саме по собі задає властивість, під дією якої образи в цьому просторі легко розділяються. Саме ці надії в міру розвитку робіт в області розпізнавання образів стимулювали появу гіпотези компактності, яка стверджує: образам відповідають компактні множини в просторі ознак. Під компактною множиною поки будемо розуміти "згусток" точок у просторі зображень, припускаючи, що між цими згустками існують поділяючі їх розрідження.
Однак цю гіпотезу не завжди вдавалося підтвердити експериментально, але, що найголовніше, ті завдання, у рамках яких гіпотеза компактності добре виконувалась (рис. 2а), усі без винятку знаходили просте рішення. І навпаки, ті завдання, для яких гіпотеза не підтверджувалася (рис. 2б), або зовсім не вирішувалися, або вирішувалися з великими труднощами із залученням додаткових хитрощів. Цей факт змусив щонайменше засумніватися в справедливості гіпотези компактності, тому що для спростування будь-якої гіпотези досить одного прикладу, який її заперечує. Разом із цим, виконання гіпотези всюди там, де вдавалося добре вирішити завдання навчання розпізнаванню образів, зберігало до цієї гіпотези інтерес. Сама гіпотеза компактності перетворилася в ознаку можливості задовільного рішення завдань розпізнавання.
Формулювання гіпотези компактності підводить впритул до поняття абстрактного образу. Якщо координати простору вибирати випадково, то й зображення в ньому будуть розподілені випадково. Вони будуть у деяких частинах простору розташовуватися більш щільно, ніж в інших. Назвемо деякий випадково обраний простір абстрактним зображенням. У цьому абстрактному просторі майже напевно будуть існувати компактні множини точок. Тому відповідно до гіпотези компактності множини об'єктів, яким в абстрактному просторі відповідають компактні множини точок, розумно назвати абстрактними образами даного простору.
5. Навчання й самонавчання. Адаптація й навчання
Всі картинки, представлені на рис. 1, характеризують завдання навчання. У кожному із цих завдань задається кілька прикладів (навчальна послідовність) правильно вирішених завдань. Якби вдалося помітити якусь загальну властивість, що не залежить ні від природи образів, ні від їхніх зображень, а визначальна лише їхня здатність до розділення, то поряд зі звичайним завданням навчання розпізнаванню з використанням інформації про належності кожного об'єкта з навчальної послідовності тому або іншому образу можна було б поставити інше класифікаційне завдання – так зване завдання навчання без учителя. Завдання такого роду на описовому рівні можна сформулювати в такий спосіб: системі одночасно або послідовно пред'являються об'єкти без яких-небудь вказівок про їхню належність до образів. Вхідний пристрій системи відображає множину об'єктів на множину зображень і, використовуючи деяку закладену в неї заздалегідь властивість розділення образів, робить самостійну класифікацію цих об'єктів. Після такого процесу самонавчання система повинна придбати здатність до розпізнавання не тільки вже знайомих об'єктів (об'єктів з навчальної послідовності), але й тих, які раніше не пред'являлися. Процесом самонавчання деякої системи називається такий процес, у результаті якого ця система без підказки вчителя здобуває здатність до вироблення однакових реакцій на зображення об'єктів одного й того ж образу і різних реакцій на зображення різних образів. Роль учителя при цьому полягає лише в підказці системі деякої об'єктивної властивості, однакової для всіх образів і визначальної здатності до поділу множини об'єктів на образи.
Виявляється, такою об'єктивною властивістю є властивість компактності образів. Взаємне розташування точок в обраному просторі вже містить інформацію про те, як варто розділити множину точок. Ця інформація й визначає ту властивість до поділу образів, що виявляється достатньою для самонавчання системи розпізнаванню образів.
Більшість відомих алгоритмів самонавчання здатні виділяти тільки абстрактні образи, тобто компактні множини в заданих просторах. Розходження між ними полягає, очевидно, у формалізації поняття компактності. Однак це не знижує, а іноді й підвищує цінність алгоритмів самонавчання, тому що часто самі образи заздалегідь ніким не визначені, а завдання полягає в тому, щоб визначити, які підмножини зображень у заданому просторі являють собою образи. Гарним прикладом такої постановки завдання є соціологічні дослідження, коли по набору питань виділяються групи людей. У такому розумінні завдання алгоритми самонавчання генерують заздалегідь не відому інформацію про існування в заданому просторі образів, про які раніше ніхто не мав ніякого уявлення.
Крім того, результат самонавчання характеризує придатність обраного простору для конкретного завдання навчання розпізнаванню. Якщо абстрактні образи, виділені в процесі самонавчання, збігаються з реальними, то простір обраний вдало. Чим сильніше абстрактні образи відрізняються від реальних, тим "не зручніше" обраний простір для конкретного завдання.
Навчанням звичайно називають процес вироблення в деякій системі тієї або іншої реакції на групи зовнішніх ідентичних сигналів шляхом багаторазового впливу на систему зовнішнього коректування. Таке зовнішнє коректування в навчанні прийнято називати "заохоченнями" і "покараннями". Механізм генерації цього коректування практично повністю визначає алгоритм навчання. Самонавчання відрізняється від навчання тим, що тут додаткова інформація про вірність реакції системі не повідомляється.
Адаптація – це процес зміни параметрів і структури системи, а можливо, і керуючих впливів на основі поточної інформації з метою досягнення певного стану системи при початковій невизначеності і умовах роботи, що змінюються.
Навчання – це процес, у результаті якого система поступово здобуває здатність відповідати потрібними реакціями на певні сукупності зовнішніх впливів, а адаптація – це підстроювання параметрів і структури системи з метою досягнення необхідної якості керування в умовах безперервних змін зовнішніх умов.