73 Непараметричні методи аналізу точності прогнозів.
Непараметричні методи не залежать від вигляду розподілу, тож не потребують припущення щодо нормальності розподілів. Це особливо корисно, коли йдеться про дані, які унеможливлюють використання числових шкал. Розглянемо два типи непараметричних критеріїв: критерій знаків та рангові критерії.
Критерій знаків для порівняння точності двох послідовностей прогнозів базується на відсотку випадків, коли метод визначення прогнозу А кращий, ніж метод В. Таке порівняння здійснюють для індивідуальних прогнозів однакових подій (змінних). Якщо обидва методи дають однакову точність, імовірність відповіді «так» на запитання «чи прогноз А кращий за прогноз В» становить 0,5 для кожного з т випадків прогнозування. Число К випадків, коли прогноз А кращий, підпорядковано біноміальному розподілу ймовірностей
,
Отже, можна підрахувати імовірність того, що К ≥ х. Якщо довжина послідовності прогнозів значна, для оцінювання ймовірностей можна використати нормальну апроксимацію біноміального розподілу.
Критерій знаків можна також використовувати для перевірки значущості описової статистики, відомої під назвою «відсоток кращих результатів», яка показує відсоток випадків, у яких один метод прогнозування кращий за інший і розраховується за формулою:
,
де m — кількість прогнозів, підтверджених фактичними даними;
n — кількість прогнозів, не підтверджених фактичними даними.
Коли всі прогнози підтверджуються, n = 0 і η = 1; якщо всі прогнози не підтвердилися, то m, а отже, і η дорівнюють 0.
74 Оцінка точності прогнозованої моделі та прогнозів. Непараметричні методи аналізу точності прогнозів. Сутність рангових критеріїв.
Рангові критерії. У разі застосування цих критеріїв чисельна характеристика точності (абсолютна похибка, коли маємо один прогноз, або MSE, коли розглядають послідовність прогнозів) замінюється рангами, які потім перевіряють на значущість. Наприклад, якщо послідовності прогнозів показників А та В одержують за допомогою k методів, то спочатку обчислюють MSE, потім їхні значення ранжують від 1 (найменша MSE) до k (найбільша MSE) (відповідні ранги позначають через RA, та RB, для i = 1, …, k). Після знаходження різниць (dі) між рангами обчислюють коефіцієнт рангової кореляції Спірмена:
,
За нульову гіпотезу приймають відсутність залежності між рангами, тобто жоден з методів не є гіршим за решту. Гіпотеза відкидається, якщо значення rs досить велике.
Хоча непараметричні методи мають свої переваги, важливо усвідомлювати, що вони ігнорують частину доступної інформації. Так, критерії знаків та рангів не враховують числових значень похибок.
75 Інтегровані критерії точності й адекватності.
Схема формування інтегрованих критеріїв точності й адекватності, а також загального критерію якості прогнозування полягає у тому, що формується склад окремих критеріїв, на підставі яких обчислюють інтегрований показник (скажімо, точність можна характеризувати лише коефіцієнтом детермінації, або дисперсією та середньою помилкою апроксимації, або всіма переліченими критеріями).
Попередньо для кожного окремого критерію розробляють процедуру його нормування. Нормований критерій одержують із вихідної статистики критерію таким чином, щоб виконувалися умови: нормований критерій дорівнює 100, якщо модель абсолютно точна (адекватна), нормований критерій дорівнює 0, якщо модель абсолютно неточна (неадекватна).
Узагальнений критерій якості моделі розраховують як зважену суму узагальненого критерію точності (його вага 0,75) і узагальненого критерію адекватності (його вага 0,25), тобто віддають перевагу точності. За характеристику точності обирають нормоване значення середньої відносної похибки апроксимації, а за критерій адекватності — нормоване значення критерію Дарбіна-Ватсона та характеристики нормального закону розподілу залишкової компоненти. Числове значення узагальненого критерія якості перебуває у діапазоні від 0 до 100 (мінімум відповідає абсолютно неправильній моделі, а максимум — моделі, що ідеально відображає розвиток показника). Досвід застосування цього показника свідчить про надійність моделей, оцінка якості яких не менша за 75.
Наведені вимірювання якості прогнозу виходять із незначного відхилення його від фактичних значень, але зрозуміло, що деякі змінні прогнозувати простіше, ніж інші. Так, вважається, що обсяг поточного рахунка платіжного балансу, який визначається як різниця двох великомасштабних показників — імпорту та експорту, — прогнозувати важче, ніж величини, які змінюються відносно повільно, наприклад тривалість життя, рівень безробіття. Отже, для визначення оптимального прогнозу необхідний системний критерій. Точніше оптимальний прогноз слід визначати з розгляду функції витрат користувача прогнозу, тобто з аналізу збитків через помилку прогнозу, а також із порівняння додаткового виграшу від зменшення помилки та витрат на вдосконалення прогнозу. Таким чином, оптимальним вважається найкращий прогноз, який можна одержати за наявних обставин.
Узагальнюючи огляд критеріїв визначення якісного прогнозу, можна зробити висновок, що потрібно користуватися системою критеріїв, які повинні враховувати:
кількість зусиль, що витрачаються на побудову моделі і наявність готових комп’ютерних програм;
швидкість, із якою метод уловлює істотні зміни у поведінці ряду, наприклад, раптовий зсув математичного сподівання або збільшення кута нахилу лінії тренду;
існування серійної кореляції у помилках;
незмінюваність первинних даних;
повний обсяг роботи у деяких сферах діяльності – тисячі рядів щомісяця потребують оновлення, невеликі витрати і швидкість мають першорядне значення;
терміновість прогнозування.