4 Узгодженість і достовірність експертних оцінок
Групова оцінка може вважатися досить надійною тільки за умови достатньої узгодженості відповідей опитуваних фахівців. Тому статистична обробка інформації, отриманої від експертів, повинна містити в собі оцінку ступені узгодженості думок експертів і виявлення причин неоднорідності суджень.
У загальному випадку статистичний аналіз матеріалів відповідей, отриманих від групи експертів, допускає [11]:
- оцінку ступеню узгодженості суджень експертів за кожною ознакою окремо й по всьому набору ознак у цілому;
- виділення підгруп експертів з «близькими» судженнями у випадку істотних розбіжностей у відповідях;
- виявлення причин розходження суджень, що визначають вплив характеристик експертів на зміст відповідей, і здійснення заходів, що дозволяють підвищити достовірність оцінок експертів.
- оцінку якості експертних суджень і компетентності експертів;
- формування групового рішення.
4.1 Виявлення узгодженості оцінок експертів
В ході ранжирування об’єктів (факторів, альтернатив) судження експертів щодо розв’язуваної проблеми зазвичай різняться. У зв’язку з цим виникає потреба кількісної оцінки ступеня узгодженості експертів. Індивідуальні оцінки експертів формуються в групову таблицю суджень, потім перевіряється узгодженість суджень експертів. Отримання кількісної міри узгодженості суджень експертів дозволяє більш обґрунтовано інтерпретувати причини в розходженні суджень.
Виявлення узгодженості оцінок експертів проводиться за наступним алгоритмом [17, 5].
1. Визначаємо оцінку експертів (середню):
(4.1)
2. Для кожного об’єкту визначаємо значення Rгр.
3. Визначаємо дисперсію для кожного об’єкту за формулою:
(4.2)
4. Визначаємо середньоквадратичне відхилення для кожного об’єкту:
(4.3)
5. Визначаємо коефіцієнт варіації для кожного об’єкту:
(4.4)
Якщо коефіцієнт варіації ≤ 33% це означає, що розподіл оцінок експертів відповідає нормальному закону, більшість оцінок експертів групується навколо середнього значення, тобто судження експертів узгоджені, а полярні судження складають безумовну меншість.
6. Остаточні висновки можна робити після визначення значення показників узгодженості за всією сукупністю об’єктів. Для цього необхідно визначити коефіцієнт конкордації за Кендаллом (W), тобто узагальнений коефіцієнт кореляції для групи, яка складається з m експертів.
Коефіцієнт конкордації W обчислюється за формулою (якщо не має однакових рангів, привласнених експертами):
,
(4.5)
де S – сума квадратів відхилень суми рангів кожного об’єкту експертизи від середньоарифметичного рангів;
,
(4.6)
де
(4.7)
m – кількість експертів;
n – кількість об’єктів (факторів, альтернатив).
У випадку, коли експерт не може встановити рангові відмінності між декількома факторами їм присвоюються однакові ранги, розрахунок коефіцієнта конкордації виконуємо за наступними формулами:
,
(4.8)
,
(4.9)
де
-
число однакових рангів в j-м
ряді.
Коефіцієнт конкордації змінюється в діапазоні 0<W<1, причому 0 – повна неузгодженість, 1 – повна узгодженість. Чим ближче значення коефіцієнту до одиниці, тим більш узгоджені судження експертів. Мінімально припустиме значення коефіцієнта конкордації складає 0,4. Якщо ця умова не зберігається, то необхідно провести колективне обговорення та виявити причини істотних розходжень в оцінках експертів та скорегувати ці оцінки таким чином, щоб отримати узгоджений результат.
Якщо коефіцієнт конкордації має недостатньо високе значення, то з експертами проводяться тренування, обговорюються результати та аналізуються помилки.
Підвищення узгодженості в експертній групі може бути досягнуто за допомогою ретельного відпрацювання анкет опитування, які складаються із пояснення (інструкції) для респондента та карт (таблиць) опитування експертів.
Пояснювальна записка роз’яснює порядок проведення експертного оцінювання якихось явищ та процесів та визначає правила заповнення карти опитування. Карта опитування включає в себе набір звернених до експерта питань про важливість якихось явищ та процесів.