2.5. Особенности групповой экспертизы
При проведении групповой экспертизы считается, что мнение группы экспертов надежнее, чем мнение отдельного лица (эксперта).В этом случае надежность экспертных оценок подобно надежности статистических оценок, к которым, как известно, обязательно предъявляется требование по объему выборки. Однако, в практике трудно рассчитывать на то, что можно сформировать достаточно многочисленную группу экспертов, состоящую из действительно квалифицированных специалистов по рассматриваемой проблеме.
Кроме этого, коллективная ответственность за полученные оценки позволяет в ряде случаев специалистам принимать более рискованные решения, конечно, тогда, когда это представляется возможным.
И последнее. Считается, что интервал оценок, который образуется за счет различного мнения экспертов, должен содержать “истинную” оценку, необходимую для принятия обоснованного решения. При этом разброс мнений, конечно, не должен противоречить требованию по надежности получения экспертной информации, в частности, по величине коэффициента согласованности мнений и экспертов и коэффициента конкордации.
Организация и проведение групповой экспертизы включает в себя несколько этапов.
1. Формирование цели экспертизы.
2. Формирование группы аналитиков и руководителя экспертизы и разработка процедуры опроса.
3. Отбор и формирование группы экспертов.
4. Проведение опроса.
5. Анализ и обработка экспертной информации.
6. Синтез полученной информации и приведение ее к форме, удобной для принятия решения.
Остановимся более подробно на каждом из перечисленных этапов.
Формирование цели экспертизы является первоначальным и ответственным этапом любой экспертизы. Следует помнить, что экспертиза является трудоемким и дорогостоящим мероприятием. Проводить экспертизу следует тогда, когда никакие другие способы решения проблемы не дают результатов. Цель экспертизы должна быть четко сформулирована, то есть заказчик экспертизы должен представлять для чего она будет организована и какой результат может быть получен. При этом экспертиза может быть направлена на решение как стратегической, так и тактической проблемы, стоящей перед организацией или предприятием.
Сформированная группа аналитиков необходима в качестве методологической, методической и практической поддержки проведения экспертизы. Круг задач, решаемых этой группой весьма обширен.
Это - составление анкет экспертизы, формулирование ее цели в форме понятной для экспертов, выбор процедуры опроса, а также обучение экспертной группы этим процедурам для практического использования ими в качестве инструментария. Руководитель экспертизы при этом может быть выбран из числа членов аналитической группы.
При формировании экспертной группы следует учитывать одно важное обстоятельство. На практике трудно рассчитывать на использование в качестве экспертов большого количества компетентных специалистов по данной проблеме. Во всяком случае, компетентность кандидатов в эксперты нужно проверять. Для этих целей используются обязательно “мягкие” тестовые проверки их компетентности.
Примером может служить принцип самооценки экспертов, который очень часто используется на практике. Разрабатывается специальная анкета, в которую включается определенное количество вопросов по данной проблематике. Для удобства получения самооценок количество вопросов ограничивается, как правило, десятью. Затем эксперты расставляют вопросы в ранжированный ряд. На первое место ставится тот вопрос, ответ на который по мнению эксперта он знает лучше остальных, и оценивает его оценкой 5 по пятибалльной шкале. Затем следует вопрос, ответ на который эксперт оценивает на 4 и так далее.
Получив такие данные от всех экспертов можно рассчитать среднюю групповую самооценку как
Sgr
= (
)/
n,
где n – число экспертов, m – число вопросов анкеты.
Типичная зависимость показана на рис.2.2.
С
редняя
3
групповая
ошибка, %
2
А
1
В
0
1 2 3 4 5
Средняя самооценка
Рис.2.2
Анализ такой зависимости говорит о том, что группа экспертов А, самооценка которых выше чем у группы экспертов В, будет давать более качественные оценки, так как средняя групповая ошибка у этой группы экспертов имеет меньшее значение.
Следует также сказать несколько слов об оптимальной численности экспертной группы. Если к экспертным оценкам применять то же требование, что и к статистическим оценкам, то экспертная группа должна обладать значительной численностью, причем чем больше, тем лучше. Однако, как было отмечено выше, численность компетентных специалистов, как правило, весьма невелика.
Проведенные исследования показывают, что число экспертов в группе может быть ограничена 10-12 человеками, так как при повышении численности средняя групповая ошибка экспертизы практически не снижается (рис.2.3 ).
С редняя 1,5
групповая
ошибка, %
1,0
0,5
0
0 5 10 15 20
Численность группы
Рис.2.3.
Для проведения опроса используются две формы: открытая и закрытая. Каждая из них обладает своими достоинствами и недостатками. Остановимся коротко на них.
Открытая форма опроса обладает существенным достоинством, связанным с тем, что при индивидуальном оценивании эксперты имеют возможность общаться друг с другом, обмениваться мнениями, выслушивать доводы и контраргументы каждого. Это приводит к тому, что полученные при этом групповые оценки обладают, как правило, большой степенью согласованности. Однако, при этом существует опасность нивелировки мнений экспертов за счет использования ими при назначении своей оценки мнения наиболее авторитетного эксперта в группе. Понятно, что в этом случае снижается ценность полученных групповых оценок.
Закрытая форма опроса или анонимная свободна от недостатков присущих открытой форме, что является ее несомненным достоинством. Однако, как правило, согласованность мнений экспертов получается достаточно низкой. Для ликвидации этого недостатка требуется применение специальных приемов, в частности, использования многошаговых процедур опроса. Эта проблема будет рассмотрена отдельно.
После проведения экспертизы производится обработка информации с целью расчета показателей надежности полученных оценок. Для принятия управленческих решений полученные оценки, обычно, преобразовываются в шкалу отношений.