10.3. Подготовка экспертизы

1.

Определение МДО (множества допустимых оценок).

Перечислим типы МДО и укажем определяющие их задачи оценивания.

Ω ={0,1}. Соответствующая задача попарного сравнения заключается в

выявлении лучшего из двух имеющихся объектов a и b:

Отформ

ширине,

Уровень:

нумераци

Начать с

Выравни

Выровня

Табуляци

Отступ:

170

φ – обработка (отображение э→ )

⎧1, если a лучше b,

⎩0, в противном случае.

2. Ω={(1,2,…,n)(1.3,…n)…(n, n-1,…1)}. То есть Ω состоит из множества

перестановок длины n. Соответствующая задача ранжирования состоит в

упорядочивании объектов:

C(Ω)=(i1,i2,…,in).

3. Ω={1…l}. Соответствующая задача классификации

С(Ω)=i ,если X∈ Si .

Определение МДО для экспертов Ωэ.

Типы Ωэ те же, что и Ω. Но Ωэ зависит от формы опроса: интервью, анке-

тирование, метод докладной записки эксперта – высказывание мнения в сво-

бодной форме.

Взаимодействие экспертов L.

1. Свободный обмен информацией между экспертами.

2. Обмен регламентирован.

3. Эксперты изолированы.

Пункт (2) может иметь вид «Мозговой атаки»: в течение заданного времени

любое мнение не может быть отвергнуто и не подлежит обсуждению.

Обратная связь. После обработки можно ознакомить экспертов с резуль-

татами и попросить дать повторную оценку.

Известен метод Делфи. После экспертизы проверяется согласованность, а затем,

если она недостаточная, экспертам сообщается дополнительная информация и ар-

Отформат

ширине, ну

Уровень: 1

нумерации

Начать с: 1

слева + Вы

+ Табуляци

Отступ: 18

Отформат

ширине, ну

Уровень: 1

нумерации

Начать с: 1

слева + Вы

+ Табуляци

Отступ: 18

Отформат

Отступ: Вы

нумерованн

+ Стиль ну

… + Начать

Выравнива

Выровнять

Табуляция

Отступ: 36

гументация других экспертов. Затем экспертиза повторяется.

Подбор экспертов. Существуют методы оценки компетентности экспертов.

Эксперты могут выставлять свои оценки компетентности себе и другим. Затем эта

информация обобщается и используется в алгоритмах оценки.

10.4. Методы обработки экспертной информации

Существуют три вида методов обработки:

– статистические методы;

– алгебраические методы;

– методы шкалирования.

Рассмотрим с т а ти с т и ч е с к и е методы экспертных оценок.

Результаты оценок каждого эксперта можно рассматривать как реализа-

цию некоторой случайной величины из Ωэ и применять к ним методы мате-

матической статистики. Статистические методы позволяют определить со-

гласованность мнений экспертов, значимость полученных оценок и т.д., то

есть качество экспертизы.

171

C⎨

Численные оценки. Экспертиза Э1.

Задача состоит в сопоставлении оцениваемой альтернативе (системе) од-

ного числа.

(Ω=E1, Ωэ=E1, L – эксперты изолированы; Q – обратная связь отсутствует)

ϕ x1, x2 ,K xN

N

i1

N

i1

i

i

i

 a ,

(10.1)

где αi – вес (коэффициент компетентности) экспертов;

xi – числовые оценки экспертов.

При отсутствии информации о компетентности экспертов αi=1. Степенью

согласованности мнений экспертов служит дисперсия:

2

N

i1

N

i

i

2

i

.

(10.2)

i1

Другая экспертиза Э2 повышает точность оценивания (Ωэ=Е3)

1 1 1 2 2 2

N

i1

i i i

 1 2 3

1

∑

i1

i

.

(10.3)

i i

оценки i-ого эксперта.

γ1,γ2,γ3 – определяются эмпирически (например, по одной методике γ1=1,

γ2=4, γ3=36, по другой γ1=3, γ2=0, γ3=2, γ4=25, где γ4 – степень неуверенно-

сти эксперта в своем ответе, γ1>γ3 , так как человек склонен к занижению

оценки).

Степень согласованности экспертов определяется дисперсией

2 2

i

2

i1

1

 4

.

2

1

N

i1

,

(10.4)

172

∑ x

∑

∑a− x

∑

, x , x , x , x , x ,K, x N , x N , x

x1 1 2 2 3 3

где x1 2 3i – оптимистическая, наиболее вероятная, и пессимистическая

, x , x

⎛

x i− x i− x i⎞

N

1

∑ i i1⎝

⎠

∑ i

−

i

В экспертизах Э1 и Э2 можно определить статистическую значимость

полученных результатов. Задавшись Рош , укажем интервал, в который оце-

ниваемая величина попадет с вероятностью 1-Рош.

ā – Δ<a<ā + Δ,

(10.5)

а - распределена нормально с центром ā и дисперсией (10.2).

Тогда

 t N ,

где t – стандартная ошибка, находящаяся по таблице распределения коэффи-

циента Стьюдента t = f(N-1, Рош).

Пример. Десять экспертов с одинаковыми весами αi=1 оценивают вели-

чину Т. От них получены результаты:

Отформат

Т1=33

T6=34

Т2=35

T7=37

Т3=32,2 T4=34

T8=40 T9=36

T5=38

T10=35.5

русский (Ро

Отформат

русский (Ро

Отформат

По формуле (10.1) получаем Т=35,5, σ2=4,9, σ=2.2136.

русский (Ро

Задав Рош=0,05, определим t=f(9;0.005)=2,262. По формуле (10.5)

∆=1,583. Таким образом, с вероятностью 0,95 величина Т находится в интер-

Отформат

русский (Ро

вале [33,917; 37,083].

Отформат