2.4.Статистическая надежность групповых оценок

По полученным экспертами индивидуальным оценкам можно рассчитать групповые оценки всех экспертов по каждому из рассмотренных факторов.

Групповые оценки можно определять по одному из двух способов.

По первому способу групповая оценка рассчитывается как сумма оценок всех экспертов по каждому из рассмотренных факторов. Вторым способом групповую оценку можно получить как математическое ожидание (среднее арифметическое) индивидуальных оценок экспертов по конкретному фактору. Если групповые оценки пронормировать, как это было указано в 2.2., то не зависимо от способа их получения пронормированные групповые оценки будут одинаковыми. Поэтому, строго говоря не важно, каким способом пользоваться для расчета групповых оценок экспертов по каждому из рассмотренных факторов.

После получения этих оценок необходимо оценить их качество или надежность, то есть определить насколько они согласованы по каждому рассмотренному фактору и в целом в экспертной группе.

Существуют различные способы, позволяющие получить степень согласованности экспертных оценок.

Остановимся на некоторых из них.

Наиболее простым является расчет величины размаха вариаций R_j в ответах экспертов по j-ому фактору

R_j = V_maxj – V_minj,

где V_maxj и V_minj – максимальная и минимальная оценки j –ого фактора.

Задаваясь некоторым нормированным значением размаха вариации (R _нор) по всем рассматриваемым факторам можно оценить степень согласованности мнений экспертов. Оценки будут считаться надежными, если выполняется условие

R_j (R _нор)

Другой способ расчета согласованности экспертных оценок базируется на вычисление среднего квадратического отклонения в ответах экспертов . Если число экспертов в группе равно (i = 1,2,…, n), а число оцениваемых факторов - (j =1,2,…,m), то можно рассчитать величину дисперсии как

D(x_j) = ( M(x_j)²)/ (n-1). (2.5)

Тогда = ,

где M(x_j) =( _ij)/n - математическое ожидание оценки j-го фактора, x_ij – оценка i-ого эксперта по j-ому фактору;

Для оценки согласованности всех экспертов (i = 1,2,…, n) по каждом фактору (j =1,2,…,m) наиболее часто используется величина коэффициента согласованности:

.

Если среднее квадратическое отклонение в ответах экспертов равно 0, то есть все эксперты присвоили рассматриваемому фактору одинаковую оценку, то = 1.

Если среднее квадратическое отклонение равно или превышает значение математического ожидания ( среднего арифметического ) то 0. Так как отрицательное значение коэффициента согласованности не имеет никакого здравого смысла, то при анализе считается, что он равен 0, то есть отсутствует согласованность экспертов в группе по данному фактору.

При анализе экспертных оценок возникает необходимость выявить согласованность мнений всех экспертов по всем факторам. Такая интегральная оценка позволяет характеризовать качество информации, полученной по всей экспертной группе. Для этого рассчитывается коэффициент согласованности всех экспертов по всем факторам или его часто называют коэффициент конкордации.

Расчет производится в рангах, то есть под оценками x_ij понимаются не весовые значения, а ранжированные. Тогда

,

где m - общее число экспертов; n - общее число факторов;

.

Величина коэффициента конкордации заключается в интервале от 0 до 1.

Причем, если w = 1, то это означает, что все эксперты присвоили всем факторам абсолютно одинаковые оценки.

Если w = 0, то согласованности мнений экспертов по всем оцениваемым факторам не существует.

Оба этих варианта представляют собой крайние случаи при оценке качества экспертизы и являются ненадежными, так как в первом случае имел место несомненный сговор экспертов, а во втором - экспертная группа не справилась с поставленной перед ней задачей. Реальные значения коэффициента согласованности должны быть заключены в диапазоне 0,7-0,9.

Полученное значение коэффициента конкордации можно проверить на статистическую значимость, используя для этого, например, критерий ² – Пирсона. В этом случае, для оценки статистической значимости необходимо и достаточно, чтобы выполнялось следующее условие:

> ,

где = f ( ,r), причем - доверительная вероятность, которую в расчетах принимают на уровне 99% или 95%, а r – число степеней свободы, равное произведению числа экспертов на число факторов, то есть r=nm.

Значение рассчитывается как

= (n-1)mw. (2.6)

Выполнение условия (2.6) говорит о том, что полученная величина степени согласованности мнений экспертов w является не случайной.