6.2 Непараметричне оцінювання.

Непараметричне оцінювання має місце при великому числі ознак, невідомій залежності між ними, неявному фізичному змісті класу і т.д., коли передбачити аналітичний вид функції густини неможливо.

При непараметричному оцінюванні вважається, що шукана функція густини неперервна або має незначне, в порівнянні з об’ємом число розривів.

Більшість методів опираються на можливість оцінити по вибірці імовірність появи реалізації в заданій області значень даної випадкової величини.

Імовірність Р₁ попадання однієї реалізації в область А визначається як

,

тобто Р₁ – є згладженим варіантом густини Р(х) і можна оцінити це згладжене значення з допомогою оцінки імовірності Р.

Імовірність попадання k реалізацій з вибірки об’ємом N в область А:

.

При фіксованих значеннях A і N очікуваною величиною k буде

E[k]=NP₁.

При великих N біноміальний розподіл має випажний максимум біля середнього значення, тому можна вважати, що число реалізацій в даній вибірці, які попадають в А:

.

Звідси . Якщо позначити V_A – об’єм області А, то можна вважати вираз

оцінкою середнього значення густини в А.

1. Гістограмний метод. Суть методу в розбитті Х на скінченне число інтервалів А_і і підрахунку кількості реалізацій в кожному з цих інтервалів. Оцінка густини розподілу ознак в області А_і при цьому

,

де k_i – щільність реалізацій, які попадають в область А_і; V_i – об’єм області А_і.

Переважно використовують два способи побудови гістограми:

1. з однаковими по об’єму областями;

2. з однаковими щільностями реалізацій.

Недоліки Невизначеність при виборі способу розбиття, необхідність процедури згладжування.

Оцінку можна вважати задовільною лише при великих вибірках.

2. Методи локального оцінювання.

Нехай оцінкою середнього значення густини в А є

(*).

Для оцінки густини в точці х враховують реалізації, які потрапляють в малий окіл точки х₀. Переважно окіл береться в виді гіперкулі пбо гіперкубу.

Об’єм гіперкулі з евклідовим радіусом R рівний , де

,

при .

При збільшенні N об’єм околу х₀ зменшується. Якщо густина в т. х₀ неперервна і послідовність околів по мірі збільшення N стягується до точки х₀ достатньо повільно, так що середнє число реалізацій, які попадають в окіл, необмежено зростає при , то оцінка густини в точці х₀ є слушною ( ).

Існують ще два загальних методи отримання послідовностей околів т. х₀, які задовольняють вказаним умовам.

3. Метод „парзенівського вікна” полягає в списку деякого початкового заданого околу об’ємом V₁, як деякої функції від N, такої що:

(**)

цим умовам задовольняють, наприклад, залежності і т.д., але вибір конкретої функції є проблематичним.

Недоліком є також висока чутливість оцінки до вибору початкового об’єму V₁, а також те, що об’єм V₁, будучи задовільним для одного х₀, може виявитися цілком незадовільним для іншого.

4. Метод „k_N найближчих сусідів” відрізняється від першого тим, що об’єм околу х₀ задається функцією не лише N, але і фіксованого числа k_N реалізацій, наближчих до х₀. За відстань між х₀ і реалізаціями переважно беруть евклідомву міру. При цьому окіл х₀ збільшується до тих пір, поки не буде вимагати k_N реалізацій. В якості функцій , які задовільняють умовам (**), можна взяти і т.д.

Цей метод має той же недолік, що й „парзенівського вікна” – невизначеність в виборі залежності k_N від N.

Обидва методи локального оцінювання густини забезпечують збіжність при , але при скінченому об’ємі вибірки важно що-небудь казати про їх якість.

Проте вважається, що ефективність підходів, основаних на прямому фіксуванні границь обласний є нижчою ніж ефективність процедур, що використовують локальне оцінювання.

Ще одна група методів непараметричного оцінювання основана на припущенні, що для неперервної функції густини в деякому малому околі кожної з реалізацій вибірки значення густини істотно відмінне від нуля. Чим меньший окіл, тим більша впевненість в цьому припущенні.

Виходячи з цього, структура оцінки представляється у вигляді суми N вагових функцій (ядер), які приписуються кожній реалізації. Такого типу оцінку називаються узагальненою гістограмою або оцінками парзенівського типу. В самому загальному виді відповідають виразу:

,

де К – функція, яка називається ядром; h – коефіцієнт „розмитості”, такий, що h=h(N); m – мірність простору ознак.

Для кругових ядер (K=K(R)) оцінка парзенівського типу має вид:

,

де x-x_i – відстань від х до х_і, взята у відповідності з вибраною мірою.

В одномірному випадку одиничної східцевї функції інтегральний емпіричний закон можна представити у виді:

.

Диференціюючи отримаєм

.

У випадку неперервної величини х ця оцінка не може бути близькою до f(x) ні при будь-яких значеннях х і N. Ця оцінка не є слушною.

Узагальнена гістограма є асимптотично незміщеною і слушною, якщо:

і .

Недоліки методу: число доданків рівне числу реалізацій (незручно при ), і неоднозначність оцінки в залежності від вибору і конкретного виду ядра. Для оптимізації оцінки необхідна евристична інформація.