Подбор экспертов

Одним из существенных условий, способствующих повышению надежности экспертных оценок, даваемых социальным объектам, является научно обоснованный отбор и формирование экспертной группы. Для этого необходимо осуществить отбор лиц, обладающих некоторыми значимыми для выполнения этой деятельно­сти качествами. К таким качествам обычно относят надежность, обусловленную профессиональной компетентностью, квалиметрической компетентностью и са­мооценкой, заинтересованность, деловитость и объективность.

Квалиметрическая компетентность подразумевает знание методов оценки, умение пользоваться различными типами оценочных шкал, различая при этом большое число градаций.

Оценка специалистами своей компетентности существенно влияет на точность уже их экспертных суждений. Так, выявлено, что эксперты с высокой самооцен­кой ошибаются в своих вердиктах при проведении экспертизы меньше других. Заинтересованность специалистов в результатах экспертизы определяется мно­гими факторами: возможностью использовать полученные результаты, загружен­ностью эксперта, целями экспертизы, характером выводов, которые могут быть сделаны, индивидуальными особенностями субъекта.

Объективность эксперта подразумевает, что тот не допускает сознательного смещения оценок в выгодную для себя сторону. Деловитость эксперта обеспечи­вается его собранностью, способностью переключать внимание, что позволяет бы­стро переходить с оценки одного показателя на оценку другого, умением мотиви­ровать выносимые суждения.

Для некоторых процедур аттестации персонала важным показателем являет­ся деловая коммуникативная близость эксперта с оцениваемым. При прочих положительных условиях, чем прочнее эта близость, тем точнее оценки.

Наличие у экспертов некоторых неадекватных установок, которые не всегда осознаются ими самими, приводит к заметному искажению оценок, поскольку возникают следующие типы ошибок:

• «ошибки великодушия» как проявление тенденции фиксировать внимание только на социально одобряемых образцах поведения или положительных качествах;

• «ошибки центральной тенденции» как следствие либо низкой самооценки, либо установки избегать крайних суждений;

• «ошибки по аналогии или контрасту со своими качествами и способами по­ведения»;

• «упрощение задачи»: оценивая, эксперт задействует лишь часть критериев или их упрощает;

• «иллюзия контроля», возникающая при игнорировании проявления мало­вероятных взаимосвязей и факторов;

• ошибки по причине несерьезного, недостаточно внимательного отношения к самой процедуре экспертизы.

Отсев лиц, склонных к подобного рода искажениям, из числа претендентов на роль эксперта, осуществляется либо по данным пробной экспертизы, либо на ос­нове специальных опросников, как это делается при определении уровня самооценки эксперта и его коммуникативной близости к оцениваемому.

Как мы уже указывали, выявлена зависимость между групповой самооценкой экспертов и их средней групповой ошибкой. Если группа кандидатов в эксперты представлена двумя подгруппами, одна из которых характеризуется более высо­кой самооценкой, чем группа в целом, а другая более низкой, то первая дает более точные, а вторая менее точные, чем группа в целом, оценки. Все это обусловлива­ет отбор экспертов в соответствии с уровнем их самооценки по данному виду де­ятельности.

Еще одну интересную особенность в деятельности экспертов, оценивающих целесообразность тех или иных профессиональных действий в конкретных проблем­ах ситуациях, отметил А. Г. Шмелев. Опираясь на данные А. А. Потапкина, он указал на связь между согласованностью/точностью оценок экспертов и их профессиональной компетентностью. Наиболее высокий уровень согласованности наблю­дался у средних по уровню профессиональной компетентности специалистов, а наименьший - у представителей полярных групп. На основании этих данных делается вывод о том, что «первоначальное накопление компетентности сводится к освоению определенных шаблонов, сближающих операциональные категориальные системы, а дальнейшее накопление профессионализма приводит к определенной диверген­ции - формированию индивидуального стиля».

Следует отметить, что в организационной практике достаточно часто встречаются ситуации, когда профессионалы высокого уровня привлекаются для того, чтобы оценить целесообразность действий конкретных лиц в проблемных ситуациях - например, аварийных. Аналогичным образом они участвуют в составлении примерного алгоритма действий специалиста (инструкций) при определенных обстоятельствах. И в том, и в другом случае рассмотренная тенденция к увеличению рассогласованности выбранных вариантов действий в связи с ростом профессионализма может создать дополнительные сложности в экспертном вза­имодействии специалистов подобного уровня.

Комплектование экспертной группы

Было выявлено, что точность групповой оценки экспертов зависит от численности экспертной группы: уменьшение числа экспертов ведет к снижению точности оценок, так как в этом случае суждение каждого эксперта приобретает больший вес, увеличивается роль субъективного фактора. При большом количестве участников экспертизы усложняется обработка их суждений, становится сложным выявить согласованность их мнений. Чтобы определить оптимальное число экспертов, используется анализ кривых, характеризующих зависимость между количеством экспертов в группе и средней групповой ошибкой. Несмотря на то, что кривые этого типа получены в конкретных видах экспертизы и не имеют универсального характера, анализ их динамики свидетельствует о том, что средняя групповая ошибка стабилизируется при увеличении числа экспертов до 9-13 человек. Однако в отечественной и зарубежной литературе, посвященной вопросам оценки персонала, указывается на возможность получить адекватные результаты при общей численности экспертов в 5-7 человек. Если речь идет об аттеста­ции персонала, осуществляемой силами представителей того же коллектива, то общее количество экспертов, оценивающих одного работника, должно быть не менее 5 человек при условии представленности всех трех уровней взаимодей­ствия оцениваемого.

Эти требования объясняются выявленными в специальных исследованиях фактами, подтверждающими, что особенности оценок экспертов зависят от:

• субординационных отношений оцениваемых и экспертов;

• их отношений в привычном смысле слова (товарищеские, недоброжела­тельные, соперничающие и т. д.);

• той степени, в которой похожи субъект оценки и оцениваемый (схожесть судеб, установок, ценностей, норм поведения, манер - все это приводит к неосознанному смещению оценок), включенности в сходные обстоятель­ства.

Ответственность в ситуации комплексной гуманитарной экспертизы

При анализе вопросов ответственности становится особенно очевидным отличие экспертизы от стандартно­го компьютерного алгоритма. Эксперт должен на уровне своей компетентности максимально полно раскрыть все возможные значимые контексты и следствия рассматриваемых событий и решений. Он отвечает за свой анализ ситуации, а также за то, чтобы его оценки, суждения и рекомендации были понятны заказчику. Серьезное обоснование экспертных суждений не является свидетельством того, что эксперт говорит «правду» или что его ре­шение является правильным, оптимальным, но оно свидетельствует, что эксперт подходил к решению проблемы ответственно и компетентно, на основе макси­мально доступного в данный момент уровня знаний и методической оснащенности. Аргументы эксперта позволяют оценить, в какой степени его мнению стоит доверять. Хотя, с одной стороны, многое в работе эксперта основано на интуиции, с другой стороны, настоящий ученый в состоянии подвести рациональное обоснование под то, к чему он пришел на основе профессиональной интуиции. Эксперт несет от­ветственность за полноту анализа, понятность и обоснованность своих суждений. Эксперт не несет ответственности за выводы и решения, которые будут сделаны на основе его суждений - потому что эти выводы не обуслов­лены содержанием экспертных оценок, даже если всерьез считаются с ними.

Допустим, эксперт говорит, что из таких-то событий произойдут такие-то следствия при таких-то условиях с такой-то вероятностью. Следует ли дальше что-то делать или нет - ответственность за это лежит на заказчике экспертизы или другом лице, принимающем решение (для удобства примем, что это одно и то же лицо). Принятие решения по итогам экспертизы - это не только и не столько интеллектуальный выбор, сколько принятие на себя ответ­ственности за его последствия, включая готовность делать дальнейшие шаги по его реализации и платить за них необхо­димую цену.

Именно заказчик, а не эксперт, располагает ресурса­ми и полномочиями, необходимыми для осуществления дальнейших шагов, и будет испытывать на себе послед­ствия как ошибочных, так и правильных действий. По­этому ответственность эксперта ограничивается чисто интеллектуальными аспектами анализа ситуации, а ответ­ственность заказчика определяется прежде всего предпри­нятыми или не предпринятыми им действиями. Заказчик свободен в плане использования либо неиспользования результатов любой экспертизы. Это обстоятельство дик­туется спецификой распределения ответственности в об­щении заказчика и эксперта. Заказчик также несет пол­ную ответственность за свое решение учитывать или не учитывать предоставленные ему результаты экспертизы, и если учитывать, то в какой мере, а также за выбор экс­пертов или за решение не пользоваться услугами экспер­тов в конкретном случае.

Таким образом, методологический анализ комплек­сной гуманитарной экспертизы приводит к выводу о ключевой роли личности эксперта, что коренным обра­зом отличает экспертизу от репрезентативных опросов. Вместе с тем большинство задач, требующих экспертного анализа, не предполагают однозначного «правильного» ответа и допускают широкую вариатив­ность и ограниченную предсказуемость развития собы­тий, даже если анализ производится наиболее компе­тентными экспертами. Поэтому эксперт вправе расши­рять постановку вопроса; он несет ответственность прежде всего за полноту и объемность своего анализа ситуации, обоснованность и ясность своих выводов и заключений. Ответственность за принимаемые реше­ния, а также за использование или неиспользование возможностей и результатов экспертизы несет в полной мере лицо, принимающее решение в данной проблем­ной ситуации. Оно же оценивает уровень допустимого риска при принятии решения. Эксперт в этой ситуации мог бы сказать о том, какие следствия будут вытекать из тех или иных решений, как и на какое количество лю­дей это может повлиять. А заказчик в зависимости от своей собственной оценки уровня приемлемого риска делает окончательные оргвыводы.

Значение и особенности личности эксперта КГЭ

Экспертиза отличается от опроса или интервью тем, что в первом случае источником информации высту­пают эксперты, а во втором - информанты, или респон­денты.

В имеющейся литературе по методологии психоло­гии, педагогики и социальных наук отсутствует четкое разграничение этих понятий. Так, нередко экспертом на­зывают любого информанта, к которому обращаются за суждением или который сам добровольно высказывает свои суждения по публично сформулированным, напри­мер выставленным в интернете, вопросам (см., напр.: Шмелев, 2006). Понятие «метод экспертных оценок» под­разумевает именно такое, безгранично расширенное понимание «эксперта». Такое словоупотребление представляется крайне неудачным, потому что при нем утрачива­йся различие между двумя такими принципиально разными способами получения информации, как собственно экспертиза в узком смысле слова и репрезентатив­ный опрос, который нередко тоже называют этим словом.

В первом случае считается, что опрашиваемые - носите­ли специального знания, доступного далеко не каждому, гарантиями чего является профессиональное обучение и опыт профессиональной деятельности в определенной области опрашиваемого, которого по этим критериям относят к экспертам. Заказчик специально отбирает та­ких людей, считая, что эксперт может сказать больше других. Во втором случае респондентами выступают слу­чайно отобранные люди, а результатом опроса становит­ся репрезентативное мнение, срез распределения мнений по популяции. Собственно эксперты вносят в него заве­домый сдвиг, ибо их «субъективное» видение проблем «объективнее», то есть шире, глубже, дальше и объемнее, чем у среднего информанта. Мнение эксперта может даже прямо противоречить репрезентативному опросу: эксперты-астрономы Бруно, Галилей и Коперник, придя в рамках своей профессиональной компетенции к выво­ду, что Земля вращается вокруг Солнца, столкнулись с противоположным мнением популяции и не смогли при жизни доказать свою правоту. Но опрос общественного мнения на тему, что вокруг чего вращается, явно не заслу­живает названия экспертного. То же относится и к дру­гим ситуациям, хоть и не везде это различие выступает столь наглядно, как в приведенном примере. Оно тем очевиднее, чем сложнее и новее решаемая проблема.

Законодательство и неформальные правила общежи­тия предполагают, что каждый вменяемый человек, кото­рый достигает совершеннолетия и становится юридичес­ки полноправным, должен обладать способностью ана­лиза, прогноза и оценки связей своих действий с их последствиями, чтобы иметь возможность за них отве­чать. По-видимому, к тем, кто профессионально занима­ется экспертизой, это требование относится в большей степени, нежели к тем, кому профессионально этим заниматься не приходится. Тем не менее в реальности далеко не все совершеннолетние люди являются психологически взрослыми, способными выполнять такой анализ и прогноз. Даже те, кто берется за профессиональную экспертизу, не всегда справляются с задачей анализа причинно-следственных связей, хотя в оправдание им можно сказать, что эти связи редко бывают прямыми, одно­значными и о них можно говорить лишь с какой-то степенью определенности.

Одним из основных является вопрос о статусе эксперта. В последнее время эксперту приписываются всевозможные положительные качества, к примеру: «Эксперт - это хороший аналитик, подлинный ученый-исследователь, блестящий администратор <...> искусный и мудрый оценщик, знаток нужной сферы, спец в определеннм научном и практическом пространстве, настоящий ас среди родственных профессионалов» (Ярская, 2003, с. 8). В российском сознании эксперт стоит выше профессионала.

В США и Западной Европе такого преклонения перед экспертом нет. Экспертом может стать любой человек с соответствующим образованием, поскольку «экспертным знанием» считается любое знание в той или иной сфере, даваемое хорошей вузовской подготовкой. Многие университеты включают в свои рекламные материалы объявления о том, что они обеспечивают своим выпускникам именно такой уровень профессионализма. Вместе с тем для включения в полноправные члены экспертных сообществ требуется не только квалификация, но и опыт, рекомендации.

Подобное понимание эксперта как «просто» знающего человека отразилось и в специализированных словарях по экспертизе, разработанных и распространяемых многими международными и национальными организация­ми, начиная с ЮНЕСКО и кончая локальными сообще­ствами экспертов и университетскими центрами по под­готовке экспертов.

Признаков, позволяющих обозначить данного чело­века как эксперта в определенной области, четыре: стаж профессиональной деятельности, сложность профессиональ­ной деятельности, разносторонность профессиональной де­ятельности и ее успешность. Чем они у данного человека больше, тем он лучший эксперт в некоторой области. Об­ласть его профессиональной компетентности при этом не обязательно должна быть точно той, в которой задается вопрос, но должна быть достаточно близка, чтобы его опыт имел ценность для решения задач экспертизы.

Очевидно, что отмеченные особенности КГЭ предъяв­ляют к эксперту довольно высокие требования:

• высшее образование, как правило - гуманитарное;

• желательно подтверждение высокой квалификации эксперта научной степенью не ниже кандидата наук в своей сфере;

• опыт участия и компетентность в проведении меж­дисциплинарных исследований.

Существенную роль играет особенность «экспертно­го мышления» - не каждый даже высококвалифициро­ванный специалист способен к обобщениям, конкретизациям и уточнениям, к ответственным заключениям, на которые должен быть способен эксперт. Методология КГЭ опирается на исследования, факты и методики, но сами факты и методики не позволяют прийти к однознач­ным выводам. Дело не в фактах, не в инструментах (например, психологических и педагогических тестах). А в том, каким образом сам эксперт с этими инструментами обращается. Заключения дают не тесты, а люди, которые применяют эти тесты; по одним и тем же тестовым данным можно получить очень разные заключения. Главная задача экспертизы относится к организации мышле­ния эксперта.

Комплексная гуманитарная экспертиза требует от эксперта двух главных качеств. Первое - толерантность к сложности и неопределенности, мужество искать ответы на вопросы, однозначных ответов не имеющие, не пытаясь искусственно упрощать реальность и видеть однозначность там, где ее нет. Для эксперта должно быть по-преж­нему актуальным предостережение Гераклита: «Берегись, чтоб не стало сомненное несомненным». Второе необходимое качество эксперта - дисциплинированность мыш­ления, способность к пошаговому анализу проблем. От участника гуманитарной экспертизы требуется также способность делать выводы в более широком, чем традици­онно, контексте. Поэтому такой эксперт должен пройти специальную подготовку для участия в гуманитарной экспертизе, подтверждаемую соответствующим сертификатом. Более того, свою квалификацию такой эксперт должен подтверждать прохождением аттестации не реже одного раза в 3-5 лет.

Профессиональная деятельность эксперта имеет особую цель - производить «оценки». Другая особенность экспертной деятельности - это то, что «оценки» производятся им для внешнего заказчика, практически всегда и задающего их критерии. По выражению С.Л. Братченко (1999, с. 13), экспертиза - это использование челове­ка в роли «измерительного прибора».

Методологический анализ комплекс­ной гуманитарной экспертизы приводит к выводу о клю­чевой роли личности эксперта, что коренным образом отличает экспертизу от репрезентативных опросов. Па­радокс экспертизы состоит в том, что субъективное мнение и оценка эксперта, отобранного по профессиональным кри­териям, благодаря его более объёмному и глубокому видению оказываются более объективными, то есть приближенны­ми к реальности, чем согласованное мнение множества ря­довых представителей популяции. Ответы на вопросы КГЭ не могут быть выведены с помощью прямых дедуктивных умозаключений; их поиск требует высокой профессио­нальной компетентности в широком круге вопросов, от­носящихся к различным гуманитарным дисциплинам, системного мышления, толерантности к сложности и неопределенности и личной ответственности и профессионализма эксперта.