Этапы статистической обработки экспертных оценок

Безотносительно к использованному при опросе методу оценки объектов процедура статистической обработки экспертных данных вклю чает три этапа: 1) анализ оценок каждого эксперта; 2) определение груп повых оценок объектов; 3) оценка достоверности групповых оценок.

Анализ оценок каждого эксперта

Целью проведения этого этапа является формальная проверка оценок каждого эксперта.

В некоторых методах на основе анализа оценок эксперта можно их откорректировать без его участия. В других методах произвести такое исправление без эксперта не представляется возможным. Тогда ошибоч ные оценки исключаются из рассмотрения или вводятся коэффициенты, учитывающие количество обнаруженных ошибок в оценках эксперта, которые служат характеристикой компетентности этого эксперта.

Определение групповых оценок

Этот этап является основным во всей процедуре обработки эксперт ных оценок. В результате его проведения на основе личных оценок всей совокупности экспертов вычисляются групповые оценки.

Если имеются оценки компетентности экспертов, их необходимо использовать при определении групповых оценок. Процедура их использо вания зависит от конкретного экспертного метода.

Оценка достоверности групповых оценок

Чтобы использовать на практике, вычисленные на втором этапе груп повые оценки, необходимо оценить их достоверность (надежность). Понятие достоверность групповых оценок определяется согласованностью экспертных оценок. Считается, что групповые оценки объектов достоверны, если между оценками экспертов наблюдается большая согласованность. Количественно степень согласованности экспертов определяется коэффициентом согласия (Е), являющимся коэффициентом множественной корреляции. Коэффициент согласия вычисляется по формуле:

,

где т – число экспертов; – коэффициент корреляции оценок i и l экспертов.

Верхний предел коэффициента E равен 1 и соответствует случаю, когда у всех экспертов оценки объектов совпадают: (полное со гласование экспертов). Нижний предел равен нулю.

По величине Е судят о степени согласованности экспертов в про веденной экспертизе.

После вычисления коэффициента согласия он проверяется на значи мость, т.е. проверяется гипотеза о случайности получения вычисленного значения E. Эту гипотезу можно интерпретировать также как независимость оце нок экспертов или случайность проставления экспертами своих оценок. Проверка этой гипотезы осуществляется по процедуре статистической проверки гипотез.

9. Метод классификации. Экспертные методы.

Как видно из названия этого метода, он позволяет произвести оценку объектов по шкале классификации. Эксперт должен отнести каж дый объект к одному из сформулированных классов . Шкальными значениями в этом методе являются номера классов, но для дальнейшего изложения результаты оценки одним экспертом объектов по методу классификации будем представлять в виде бинарной матрицы (,если эксперт i отнес объект j к классу k, и – в противном случае).

При использовании метода классификации эксперту разрешается оценивать только часть объектов.

Примером использования метода классификации является прове дение анкетного опроса по вопросам, на каждый из которых дается веер ответов. При этом эксперт должен указать ответ, который он считает правильным.