Метод непосредственной оценки.

Непосредственная оценка представляет собой процедуру приписывания объектам числовых значений в шкале интервалов. Эти значение соответствует степени влияния того или иного объекта на наблюдаемый результат.

В процессе выявления знаний эксперт должен поставить в соответствие каждому объекту точку на непрерывной числовой оси, например, на отрезке [0,1]. Естественно потребовать, чтобы эквивалентным по воздействиям объектам приписывалось бы одно и тоже число.

Измерение предпочтения в шкале интервалов можно выполнить с высокой степенью доверия только при хорошей информированности экспертов о свойствах объектов и предметной области.

В ряде случаев, с целью ослабления этих условий, но, естественно, за счет уменьшения точности измерения вместо непрерывной числовой оси рассматривают большую оценку, которая использует 5, 10, 100 – бальные шкалы.

Однако непосредственная оценка не всегда должна использовать числовые шкалы. Например, цвет объекта невозможно представить в виде какого-либо числового значения, а переход к значениям частот спектра во многих случаях затруднителен для эксперта.

Один из подходов к формированию и оценке компетентности группы экспертов.

При формировании группы экспертов на стадии выявления знаний необходимо учитывать такие характеристики экспертов как:

• компетентность – степень квалификации эксперта в данной области знаний;

• креативность – способность решать творческие задачи;

• отношение к экспертизе – негативное или пассивное отношение, или занятость существенно влияет на качество работы эксперта в группе;

• конформизм – подверженность влиянию авторитетов, при котором мнение авторитета может подавлять лиц, обладающих более высокой компетентностью;

• коллективизм и самокритичность.

Рассмотрим один из возможных путей количественного описания характеристик эксперта, основанный на вычислении относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы.

Суть методики сводится к тому, что ряду специалистов предлагается высказать мнение о списочном составе экспертной группы. Если в этом списке появляются лица, не вошедшие в исходный список, им тоже предлагается назвать специалистов для участия в экспертизе. После нескольких этапов будет получен достаточно полный список кандидатов в группу.

По результатам опроса составляется матрица, по строкам и столбцам которой записываются фамилии экспертов, а элементами таблицы являются переменные

При этом эксперт может включать себя или не включать в экспертную группу (то есть x_ij=0 или x_ij=1). По данной таблице можно вычислить относительные коэффициенты компетентности, используя алгоритм решения задач о лидере [1]. Введем относительные коэффициенты компетентности h-порядка для каждого эксперта

(3)

где m – число экспертов в списке (размерность матрицы ||x_ij||), h – номер порядка коэффициента компетентности. Коэффициенты компетентности нормированы так, что их сумма равна единице:

. (4)

По формуле (3) можно вычислить значение компетентности для различных порядков, начиная с первого. При h=1 выражение (3) будет иметь вид:

. (5)

Смысл этой формулы в том, что подсчитывается число голосов, поданных за i-го эксперта и делится на общее число голосов, поданных за всех экспертов. Таким образом, коэффициент компетентности первого порядка – это относительное число экспертов, высказавшихся за включение i-го эксперта в группу.

Относительный коэффициент компетентности второго порядка получают из (1) для h=2 при условии, что k_j¹(j=1,2 ...m) определены по (5):

Коэффициенты второго порядка представляют собой относительное количество голосов, взвешенных коэффициентом компетентности первого порядка.

Последовательно вычисляя относительные коэффициенты компетентности более высокого порядка, можно убедиться, что процесс быстро сходится после 3-4 вычислений, то есть относительные коэффициенты быстро стабилизируются. В общем случае коэффициенты относительной компетентности определяются как:

Пример: В результате опроса трех экспертов о составе экспертной группы получены данные (x_ij) о мнении каждого из них по включению экспертов в рабочую группу. Эти данные сведены в таблицу

	Мнения экспертов
	Эксперт 1 (A)	Эксперт 2 (B)	Эксперт 3 (C)
Эксперт 1 (A)	1	1	1
Эксперт 2 (B)	0	1	0
Эксперт 3 (C)	1	0	1

Результаты пошаговой обработки полученных данных по описанному выше алгоритму будут иметь вид.

На первом шаге, полагая равную компетентность всех экспертов, принимаем k⁰ = [ 1 1 1 ]^т и вычисляем коэффициенты относительной компетентности первого порядка:

На втором шаге, используя полученные значения, вычисляем коэффициенты относительной компетентности второго порядка:

Продолжая аналогичные вычисления до тех пор, пока не будут отличаться от с точностью 0.01, получим

При h®¥

Можно показать, что предельные значения коэффициентов компетентности представляют собой компоненты собственного вектора для максимального собственного числа матрицы Х=||x_ij|| [1]. Собственные числа матрицы Х определяются как корни алгебраического уравнения

где – вектор собственных чисел матрицы голосования , – единичная матрица. Собственный вектор матрицы, соответствующий максимальному собственному числу, вычисляется из системы m+1 порядка линейных алгебраических уравнений

где - вектор компетентности, являющийся собственным вектором матрицы Х для максимального собственного числа.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, то есть результатов экспертного оценивания.

Например, в работе [2] предложен способ оценки компетентности эксперта, базирующийся на вычислении среднего расстояния в пространстве признаков товаров, оцениваемых экспертами. Считается, что если расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельные стороны товара и, следовательно, такой эксперт недостаточно компетентен.