- •Лекція 6 Розпізнавання без навчання.
- •6.1 Параметричне оцінювання.
- •6.2 Непараметричне оцінювання.
- •2. Методи локального оцінювання.
- •Лекція 7
- •7.1. Суть процедури навчання.
- •7.2. Постановка задачі
- •7.5 Обмежуюча умова на пошук екстремуму.
- •8.1 Постановка задачі.
- •7.3. Найкращий стан системи
- •7.4 Алгоритм навчання
- •8.2 Метод розділяючої функції.
- •8.3 Метод комітетів розв’язку задач розпізнавання
- •8.4 Метод потенціальних функцій
- •8.5 Метод штрафних функцій
8.3 Метод комітетів розв’язку задач розпізнавання
Допускаємо, зо
число класів
.
Тоді навчаюча послідовність складається
з двох послідовностей об’єктів
з класу
і
з класу
.
Всі об’єкти віідмінні, і вважаємо, що
не існує площини, безпомилково розділяючої
навчаючу послідовність.
Комітетом сукупності об’єктів з двох класів називається множина площин в просторі ознак, так що кожний об’єкт правильно класифікується більш ніж половиною площин.
Число помилкових віднесень кожного об’єкта навчаючої послідовності при розділенні простору ознак площинами з комітету менше половини числа площин. Тобто, комітет як би має колективну думку, причому „більшість” комітету відповідає істинній класифікації об’єктів.
Після побудови комітету об’єкти, які розпізнаються, відносяться в той клас, до якого їх відносить більша частина площин.
8.4 Метод потенціальних функцій
Нехай
,
тобто маємо
і
,
так само маємо навчаючу послідовність
і
.
Будемо вважати,
що кожна точка
з навчаючої послідовності створює
навколо себе деяке поле (аналогічно до
точкового заряду), яке можа описати
потенціалом, створеним системою зарядів
у всьому просторі.
Функцію, яка визначає поле, називають потенціальною, а її вибір здійснюють неформально в залежності від специфіки задачі.
Вимоги до неї: потенціал, який створюється навчаючою поверхнею не був від’ємним, монотонно спадав при збільшенні віддалі від об’єкта:
Розглянемо потенціал, створений в просторі ознак Х з класів і .
Вважаємо сумарний
потенціал сумою потенціалів від кожного
заряду. Отримаєм дві функції
і
,
де
- потенціал від точок класу
,
а
- класу
.
Гіпотеза компактності є деяке допущення відносно властивостей об’єктів групуватися в класи в просторі ознак. Вона передбачає наступне:
будь-які дві внутрішні точки простору ознак, що належать одному і тому ж класу можна з’єднати достатньо гладкою кривою, всі точки якої будуть належати тому ж класу.
Майже всі внутрішні точки, що належать тому чи іншому класу в достатньо великому околі, мають лише зображення з свого класу.
Число граничних точок є малим.
Якщо класи
і
задовольняють гіпотезу компактності,
то можна очікувати, що
і
будуть мати для об’єктів свого класу
більші значення, ніж для об’єктів з
чужого класу. Тобто, в силу симетрії
потенціальної функції, по суті пропонується
„простота” границь між класами.
Очевидно, що границя між класами
і
визначається умовою
.
Якщо визначити функцію
,
то очевидно, що
є розділяюча (дискримінантна) функція.
Для відшукання розділяючої ункції використовують рекурентні процедури (див. оригінал, стр. 104).
8.5 Метод штрафних функцій
Метод штрафних
функцій полягає в заміні задачі пошуку
відносного максимуму функції
при умовах
,
задачею пошуку абсолютного максимуму
функції
, (1)
де
- деякі додатні постійні,
- штрафні функції.
Якщо умови зв’язку
виконані, то
,
в противному випадку другий доданок в
правівй частині (12) характеризує міру
відхилення точки від поверхні
.
Якщо для знаходження
максимуму функції
застосувати градієнтний метод, тобто
використати рекурентне співвідношеення:
,
де
- крок, то другий доданок буде компенсувати
дефект в виконанні умов зв’язку. Чим
більше
,
тим більше штраф за порушення умов
зв’язку.
