Экспертное оценивание важности объектов

Очень часто в процессе экспертизы суждение экспертов представляется в количественной форме (в виде чисел). Примерами могут служить оценка качества изделия в некоторой шкале (например, десятибальной), оценка уровня мастерства спортсменов на соревнованиях и т.п. Важно, что в экспертизах с количественными оценками необходима определенная математическая обработка экспертных оценок, например, выставление среднего балла. Иногда в целях защиты от возможной некомпетентности или предвзятости экспертов используется более сложная обработка – например, отбрасывание наибольшей и наименьшей оценок и расчет среднего балла по оставшимся оценкам. В данном разделе мы рассмотрим некоторые вычислительные процедуры обработки экспертных оценок при определении важности некоторых объектов. В качестве объектов такого рода могут, например, рассматриваться показатели эффективности в многокритериальных задачах выбора решений.

А. Усреднение экспертных оценок

Пусть экспертам необходимо сравнить объектов. Предположим, что существует набор чисел , характеризующих истинные значения важности исследуемых объектов. При этом предполагается, что наиболее важному объекту соответствует наибольшее по величине число из набора , а наименее важному – наименьшее. Естественно, числа неизвестны экспертам и ЛПР. При оценке важности объектов абсолютные значения чисел не имеют значения и ранжирование объектов по важности определяются относительными величинами чисел совокупности . В связи с этим, будем считать, что:

Пусть важность объектов оценивают экспертов. Обозначим через оценку важности - го объекта , данную - м экспертом . Полученные оценки представим в виде матрицы:

, (6.1)

в которой число строк соответствует числу объектов, а число столбцов – числу экспертов. Поскольку оценки важности одного и того же объекта, полученные от разных экспертов, могут не совпадать (числа в строках, вообще говоря, различны), то возникает задача определения показателей важности , представляющих собой усредненное мнение всех экспертов.

Определение значений по матрице можно осуществить, выбирая в качестве меры близости между и элементами соответствующей строки среднеквадратическую

(6.2)

Величины выбираются таким образом, чтобы среднее квадратическое отклонение было минимальным. При этом необходимо обеспечить, чтобы удовлетворяли условию нормировки:

.

В результате усредненные показатели важности рассчитываются по формулам вида:

(6.3)

Таким образом, относительные оценки важности объектов вычисляются как среднеарифметические оценок, выставленных всеми экспертами. Отметим, что полученный результат является простейшим и применяется в тех случаях, когда ЛПР уверено в одинаковой компетентности и объективности экспертов.

Если у ЛПР нет уверенности в равном уровне компетентности экспертов, то применяется более сложная процедура обработки экспертных оценок. Вводятся коэффициенты компетентности экспертов , отвечающие условиям:

(6.4)

При этом формула (6.3) обобщается и принимает вид:

(6.5)

Представим последнее равенство в матричной форме. Для этого введем векторы-столбцы:

,

где верхний символ обозначает операцию транспонирования. В результате формула (6.5) примет следующий вид:

(6.6)

Если компетентность экспертов известна, то расчет усредненных оценок важности следует производить по формулам (6.5) или (6.6). Очевидно, в случае одинаковой компетентности экспертов формула (6.5) сводится к (6.3).

Более сложным (и реалистическим) является случай, когда коэффициенты компетентности неизвестны и подлежат определению. Обычно в этом случае используется рекуррентный метод расчета с использованием матрицы экспертных оценок , который мы кратко опишем ниже.

Обозначим через вектор коэффициентов компетентности на - м шаге вычислений . Примем, что на первом шаге:

Для - го шага оказываются справедливыми соотношения:

(6.7)

, (6.8)

где - нормирующий множитель, вычисляемый из условия:

Подставляя (6.7) в (6.8) получим более удобное для использования соотношение:

, (6.9)

где квадратная симметрическая матрица называется матрицей взаимосвязи экспертных оценок и определяется равенством:

(6.10)

Для иллюстрации работы вышеописанного алгоритма приведем простой пример.

Пример 1.

Пусть два объекта исследуется тремя экспертами ( ), причем матрица экспертных оценок имеет вид:

Можно видеть, что первый и второй эксперты оценивают важность обоих объектов одинаково (при этом второй объект признается заметно более важным, чем первый (0,8 против 0,2)), тогда как третий эксперт придерживается противоположного мнения. Определим коэффициент компетентности каждого эксперта и вычислим (с учетом компетентности) оценки важности объектов. Для этого сначала по формуле (6.10) находим матрицу взаимосвязи экспертных оценок и проводим итерационный расчет вплоть до достижения сходимости.

Проведем решение в Excel. Сначала создадим форму для решения примера в соответствии с Рис. 6.1.

	A	B	C	D	E	F	G	H	I	J
1	Матрица A				Матрица AT			n =	3
2	0,2	0,2	0,8
3	0,8	0,8	0,2
4
5
6
7	0,2	0,8		0,2	0,2	0,8		0,68	0,68	0,32
8	0,2	0,8	X	0,8	0,8	0,2	=	0,68	0,68	0,32
9	0,8	0,2						0,32	0,32	0,68
10
11			Матрица B
12
13	
14
15						X		=
16
17
18	
19
20						X		=
21
22
23	
24
25						X		=
26
27
28
29	(2)		0,2	0,2	0,8	X		=
30			0,8	0,8	0,2
31
32
33	(3)		0,2	0,2	0,8	X		=
34			0,8	0,8	0,2
35
36
37	(4)		0,2	0,2	0,8	X		=
38			0,8	0,8	0,2
39

Рис. 6.1. Форма для решения примера 1

В ячейках E2:F4 рассчитаем матрицу , после чего скопируем полученные элементы матрицы в диапазон ячеек A7:B9. Произведение матриц разместим в диапазоне H7:J9, после чего также скопируем элементы данной матрицы и разместим их в диапазоне C14:E16. В диапазон A14:A16 введем значения компетентности экспертов в первом приближении (во все ячейки введем формулу =1/$I$1). Далее введем в ячейки 14-39 строк следующие формулы:

Ячейка	Формула
G14	=A14
G15	=A15
G16	=A16
I14	=$C$14*G14+$D$14*G15+$E$14*G16
I15	=$C$15*G14+$D$15*G15+$E$15*G16
I16	=$C$16*G14+$D$16*G15+$E$16*G1
I17	=СУММ(I14:I16)
A19	=I14/$I$17
A20	=I15/$I$17
A21	=I16/$I$17
G19	=A19
G20	=A20
G21	=A21
I19	=$C$14*G19+$D$14*G20+$E$14*G21
I20	=$C$15*G19+$D$15*G20+$E$15*G21
I21	=$C$16*G19+$D$16*G20+$E$16*G21
I22	=СУММ(I19:I21)
A24	=I19/$I$22
A25	=I20/$I$22
A26	=I21/$I$22
G24	=A24
G25	=A25
G26	=A26
I24	=$C$14*G24+$D$14*G25+$E$14*G26
I25	=$C$15*G24+$D$15*G25+$E$15*G26
I26	=$C$16*G24+$D$16*G25+$E$16*G26
I27	=СУММ(I24:I26)
G29	=A14
G30	=A15
G31	=A16
I29	=$C$29*G29+$D$29*G30+$E$29*G31
I30	=$C$30*G29+$D$30*G30+$E$30*G31
G33	=A19
G34	=A20
G35	=A21
I33	=$C$29*G33+$D$29*G34+$E$29*G35
I34	=$C$30*G33+$D$30*G34+$E$30*G35
G37	=A24
G38	=A25
G39	=A26
I37	=$C$29*G37+$D$29*G38+$E$29*G39
I38	=$C$30*G37+$D$30*G38+$E$30*G39

Очевидно, большинство указанных формул может быть получено простым копированием.

После проведения соответствующих расчетов, получим следующий результат (Рис.6.2).

Следует отметить, что в данном случае наблюдается достаточно быстрая сходимость (3-4 итерации).

Таким образом, получаем значения коэффициентов компетентности экспертов, а также усредненные показатели важности объектов. Следует отметить, что, несмотря на простоту используемого алгоритма, задача решается с достаточно высокой точностью и не требует использования программирования.

		Матрица B

0,3333		0,68	0,68	0,32		0,3333		0,56
0,3333		0,68	0,68	0,32	X	0,3333	=	0,56
0,3333		0,32	0,32	0,68		0,3333		0,44
								1,56

0,3590		0,68	0,68	0,32		0,3590		0,5785
0,3590		0,68	0,68	0,32	X	0,3590	=	0,5785
0,2821		0,32	0,32	0,68		0,2821		0,4215
								1,5785

0,3665		0,68	0,68	0,32		0,3665		0,5839
0,3665		0,68	0,68	0,32	X	0,3665	=	0,5839
0,2671		0,32	0,32	0,68		0,2671		0,4161
								1,5839
(2)		0,2	0,2	0,8	X	0,3333	=	0,4000
		0,8	0,8	0,2		0,3333		0,6000
						0,3333
(3)		0,2	0,2	0,8	X	0,3590	=	0,3692
		0,8	0,8	0,2		0,3590		0,6308
						0,2821
(4)		0,2	0,2	0,8	X	0,3665	=	0,3602
		0,8	0,8	0,2		0,3665		0,6398
						0,2671

Рис. 6.2. Результат рекурсивного расчета коэффициентов компетентности экспертов и усредненных оценок важности объектов для примера 1

Дальнейшее вычисление практически не изменяет результат.