4.1.2 Способы отбора экспертов из сформированного банка данных по кандидатам

1. Способы, основанные на использовании коэффициентов компетентности

1. Оценивание со стороны коллег

Экспертов просят указать коллег из числа уже имеющихся в банке, которых наиболее рационально привлечь для оценивания именно данного объекта.

Иногда в литературе упоминают возможность получения оценки компетентности со стороны коллег в виде некоторого балла.

Такие оценки нежелательны по следующим причинам:

1. оценка со стороны коллег может оказаться лишь оценкой взаимоотношения экспертов.

2. сама попытка взвесить компетентность эксперта неэтична как по отношению к оцениваемому специалисту, так и к оценивающему.

Кандидат в эксперты, зная, что его суждениям придают меньший вес, склонен отказаться от участия в экспертизе.

3. нет никаких экспериментальных доказательств, что оценки экспертов, имеющих большие коэффициенты компетентности, точнее или надежнее, чем оценки экспертов с меньшими коэффициентами.

2. Коэффициент компетентности как функция документальных оценок

где K – коэффициент компетентности;

- значения оценок, приписываемых эксперту за определённые документальные показатели;

- коэффициент весомости.

ГОСТ 23554.1-79 «Эксплуатационные методы оценки качества промышленной продукции»

K= 0,4 *Kарг + 0,6 *Kсам, где

Kарг – коэффициент аргументированности. Рассчитывается пропорционально количеству публикаций, конференций и т.д;

Kсам – коэффициент знакомства. Его эксперт назначает его себе сам.

Современная литература не советует опираться на подобные расчеты.

На включение специалиста в экспертную группу могут влиять не общие сведения о документальных показателях, а только те данные, которые относятся к объекту предстоящей экспертизы.

Опыт практической работы свидетельствует, что результативность работы эксперта значительно больше зависит от заинтересованности в результатах работы, добросовестного отношения к работе, чем от введения коэффициентов компетентности.

3. Отбор экспертов по результатам тестирования

Тестирование может осуществляться следующими способами:

1. по результатам решения тестовых задач

Способ целесообразно применять, когда членам экспертной группы предстоит многократно решать однотипные задачи, требующие знания правил, инструкций, юридических положений и т.д.

2. психометрическое тестирование

Применяется в тех случаях, когда для участия в экспертизе требуется некоторый минимум развития психофизиологических функций, например: оценка качества дисплеев ЭВМ.

3. тестирование по результатам оценивания тестового объекта

Группа уже сложившихся экспертов оценивает некоторый объект, затем оценку того же объекта проводят кандидаты в эксперты. По числу совпавших оценок судят о пригодности кандидатов для предстоящей экспертизы.

4. Отбор экспертов по результатам участия в деловых играх

Успешность деятельности игрока в деловой игре фиксируют в виде некоторой суммы выигрыша. По ней судят о его способности исполнять ту или иную должность. Этот показатель может служить и для оценки его способностей исполнять обязанности эксперта.

Достоинство: Деловые игры развивают и тренируют инициативу эксперта и необходимые профессиональные навыки.

Ограничения применения метода:

• трудно придумать деловую игру, в которой достаточно полно проявились бы все необходимые способности кандидата в эксперты;

• не всегда специалист, успешно выступивший в деловой игре, так же хорошо проявит себя в реальной обстановке.

5. Использование рейтинга экспертов

В тех случаях, когда специалиста неоднократно привлекают для участия в экспертизе и есть возможность оценить степень соответствия его прошлых оценок истине, можно ввести величину, называемую рейтингом экспертов.

Изначально при включении в банк всем экспертам присваивают одинаковый рейтинг, например, 100 баллов. Если специалист участвовал в некоторой экспертизе, и его оценка впоследствии оказалась соответствующей истине, то рейтинг может быть повышен.

Например, за очень хорошую оценку рейтинг возрастает на 5 баллов, а в случае хорошей оценки – на 3 балла.

Ошибочная оценка снижает рейтинг эксперта на определенное число баллов. Изменения рейтинга могут быть введены за предоставляемую экспертом дополнительную информацию (+), за отказ от участия в экспертизе (-).

Спустя некоторое время эксперты приобретают различные значения рейтинга. Дальнейший их отбор может быть проведен с учетом этой величины. Оплата работы экспертов также может зависеть от рейтинга эксперта.

Можно предусмотреть критерии отказа от дальнейшего привлечения специалиста к работе в экспертной группе (например, если его рейтинг ниже 20 баллов).