4.3. Методы опроса экспертов

В 1960-х и особенно в 1970-х годах среди прочих методов прогнозирования приобрели распространение методы опроса экспертов, поскольку была выявлена ограниченность методов экстраполирования и моделирования. Одни лишь математические модели при всех их потенциальных прогностических возможностях сами по себе не могут обеспечить требуемую надежность прогнозов, особенно долгосрочных. Наиболее ограниченными оказались возможности моделирования в сфере сложных социальных процессов. Выявилась необходимость комплексной разработки социальных прогнозов путем сочетания различных методов, в том числе опроса экспертов.

Практика научных исследований требовала упорядочить работу специалистов для повышения степени надежности их оценок. В прогнозировании необходимость строго упорядоченного коллективного опроса экспертов выдвинулась на первый план как одна из ключевых методических задач повышения надежности прогнозов.

Сказанное не умаляет значения индивидуальных экспертных оценок. Более того, генерирование качественно новых идей (в том числе прогнозного характера) по-прежнему почти всегда осуществляется индивидом. Однако индивидуальные экспертные оценки постепенно стали чем-то вроде особой разновидности опроса экспертов, образовав как бы подсистему в общей системе методов опроса экспертов. Это было связано с осознанием ограниченности возможностей отдельного эксперта в сфере прогнозирования, где сильная сторона специалиста – накопленные им знания, опыт, определенный стандарт мышления – нередко оборачивается слабой стороной: «груз прошлого» мешает эксперту подняться над уровнем привычных тенденций и, увидеть необходимость качественных изменений.

Коллективная работа экспертов помогает совместно преодолевать этот недостаток. Результатом опроса экспертов является обычно не просто «усредненное» мнение группы специалистов. Происходит процесс объективизации субъективных оценок. При соблюдении известных методических требований это заметно повышает надежность прогноза. Знаменательно, что коллективное обсуждение научных проблем (в том числе прогнозного характера) наиболее продуктивно именно тогда, когда предметом обсуждения являются выдвинутые ранее в индивидуальном порядке идеи, гипотезы, концепции. Так индивидуальные и коллективные экспертные оценки сливаются в единую систему определенного класса методов прогнозирования.

Неупорядоченный, произвольный опрос экспертов резко снижает качество, надежность их оценок и может иметь результатом искаженные данные.

Для упорядочения опроса экспертов наибольшее значение имеют три основные методические проблемы всякой экспертизы:

• подбор экспертов,

• оптимизация процедуры их работы,

• система обработки результатов опроса.

Формирование экспертной группы. Экспертом обычно считается лицо, имеющее специальные знания и опыт в области, к которой относится объект экспертизы. В широком смысле такое лицо противопоставляется тем, кто в данной области знаний или деятельности имеет в лучшем случае только общие представления на уровне обыденного сознания. Однако тут же на первый план выдвигаются два важных ограничения.

Во-первых, эксперт – если он специалист, от которого ждут прогнозных оценок, – не должен являться лицом, принимающим решение на основе полученной информации. Он должен быть только советником того, кто берет на себя ответственность за постановку цели, план, программу, проект, вообще за любое решение. В противном случае возникает соблазн «подчинения» экспертизы заранее запланированному решению, прикрытия воли руководителя ссылкой на «мнение экспертов». Правда, на практике руководители, ответственные за решения, выступают порой в роли экспертов и даже возглавляют экспертные группы. Но это нарушение методических требований, расплатой за которое является, как правило, получение псевдопрогнозов.

Во-вторых, не каждый специалист – даже весьма авторитетный в своей области – годится для работы в экспертной группе, тем более для целей прогнозирования.

Некоторые из них при обширных знаниях не обладают качествами, необходимыми для члена экспертной группы в области, интересующей организаторов исследования, не способны давать правильные оценки (в том числе прогнозные) и могут лишь дезорганизовать работу, особенно при очных опросах. Опытом выработаны сложные приемы отбора экспертов. Строгое следование процедуре таких приемов обязательно для каждого организатора исследования. Более того, в многостепенных экспертных опросах, которые проводятся в несколько туров, необходимы тщательный анализ ответов и исключение экспертов, ответы которых свидетельствуют об их некомпетентности.

Важнейший критерий отбора – степень компетентности эксперта.

Возникает вопрос: чем ее измерить? Большей частью ориентируются на наиболее «простые» показатели – ученая степень или звание, стаж работы по специальности. Но оба показателя не всегда являются мерилом компетентности. Поэтому приходится прибегать к дополнительным показателям – служебное положение, число опубликованных работ, число ссылок на эти работы в литературе, оценка работ научной общественностью и т.д. Встает проблема комплексности показателей компетентности эксперта.

Второй критерий тесно связан с первым. Он предполагает, что эксперт знает «последнее слово» современной науки и практики в тех областях, которые являются предметом экспертизы. Здесь важен качественный анализ научной или практической деятельности эксперта и его трудов.

Третий критерий – оптимальное сочетание узкой специализации и общего кругозора эксперта. Для этого опять-таки необходим качественный анализ деятельности и научных трудов эксперта.

Четвертый критерий – оптимальное сочетание индивидуальных качеств экспертов как научных или практических работников. Сюда относятся способности эксперта к анализу и синтезу изучаемых проблем, к объективной всесторонней оценке проблемы без чрезмерного уклона в сторону оптимистических либо пессимистических ответов по чисто психологическим мотивам, устойчивость его научных взглядов, но вместе с тем достаточная гибкость мышления, способность изменить точку зрения под влиянием новых фактов и аргументов, умение перерабатывать, усваивать и формировать качественно новую научную информацию.

Пятый критерий – высокие моральные качества эксперта. Этот критерий очень сложен. Ясно, однако, что без должного морального уровня эксперта остальные его качества могут оказаться бесполезными, способными лишь увеличить опасность получения псевдопрогноза.

Неверно полагать, будто опросу экспертов не присущи недостатки, которые свойственны опросам населения. Эксперт – человек, поэтому он не лишен обычных человеческих слабостей, в частности на то или иное его суждение могут влиять определенные стереотипы мышления. Последние часто играют позитивную роль, но при столкновении с качественно новой информацией (обычной при прогнозировании) иногда мешают давать надежные оценки, рекомендации. Очевидно, особенно ценен эксперт, обладающий способностью преодолеть сложившиеся взгляды, по-новому смотреть на проблему, высказать оригинальное, самостоятельное суждение.

Очевидно, что подобрать эксперта и тем более группу экспертов, обладающих такими способностями, трудно. Приходится заботиться, чтобы перечисленные качества относились хотя бы ко всей группе в целом. При этом возникает ряд проблем психологии коллективного творчества, в первую очередь необходимость, чтобы члены экспертной группы в психологическом отношении были максимально приемлемы друг для друга. Решение этой проблемы во многом зависит от психологов.

Экспертная группа не может быть слишком многочисленной. Опыт показал, что за известными пределами увеличение числа экспертов не дает существенного прироста новой информации ни в деталях, ни, главное, по качеству. Необходимость ограничения численности экспертной группы (на практике большей частью примерно до 5 – 7, максимум до 10 – 15 при очных и 20 – 30, максимум 60 - 80 человек при заочных опросах, в зависимости от характера экспертизы) выдвигает дополнительные требования к подбору экспертов. Диспропорции в структуре экспертной группы могут радикально повлиять на ход и исход опроса. Требуется разумное сочетание экспертов различного возраста, темперамента, различных научный школ, ведомственной принадлежности (не только ведомства заказчика экспертизы) и т.д.

Методы отбора экспертов сводятся к двум основным подходам: объективному и субъективному. Первый предполагает использование организаторами исследования специальной методики отбора, второй – привлечение к процедуре отбора самих потенциальных экспертов либо научной общественности, из среды которой они отбираются.

Объективный подход имеет два варианта: документальный и экспериментальный. Первый предусматривает отбор экспертов по их формальным характеристикам (ученая степень, звание, стаж работы, возраст, число опубликованных работ, число ссылок на них в научной литературе и т.д.); второй – использование двух приемов: проверку эффективности оценок и рекомендаций кандидата по опыту его прежней работы либо такую же проверку с помощью специальных тестов. Оба приема требуют большой деликатности по отношению к будущему эксперту. Первый означает фактически неформальную аттестацию специалиста. Второй не всегда приемлем с этической точки зрения, так как не каждый специалист согласится ставить на карту свою репутацию, подвергаясь проверке тестом. Да и сами тесты пока еще оставляют желать лучшего. Поэтому оба приема должны носить скорее вспомогательный характер, применяться в сочетании с документальным подходом и другими приемами.

Субъективный подход также распадается на несколько приемов.

Один из них – отбор экспертов с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы, с отводом тех из них, кто не набрал определенного минимума голосов. Сам по себе прием достаточно эффективен, но лишь при условии, если члены будущей группы хорошо знают друг друга и обладают высокой научной добросовестностью. В противном случае возникает опасность отвода по случайным, непринципиальным мотивам, поэтому полагаться только на один этот прием нецелесообразно.

Другой прием – метод взаимной оценки будущих экспертов (в баллах или ранжированием) – является по существу разновидностью первого со всеми его особенностями и ограничениями. Третий – метод самооценки, когда кандидата просят самого высказать мнение о степени своей компетентности и объективности (прямой оценкой своей осведомленности в области предмета исследования или косвенными сведениями, например о каналах используемой информации, об объеме и характере изученной информации, о собственном вкладе в исследование изучаемой проблемы и т.д.). Здесь имеется опасность неадекватности в виде завышенных самооценок. Но практика показывает, что серьезные эксперты, напротив, склонны несколько занижать самооценки и стремятся не принимать участия в экспертизах, выходящих за рамки их научных интересов.

В принципе можно привлекать экспертов разной степени компетентности, приписывая их оценкам различный «вес» в зависимости от последней. Это очень усложняет процедуру опроса и обработки данных, не говоря уже об этической стороне дела. Такой прием имеет право на существование только при условии выработки четких критериев разграничения «весов».

Сказанное приводит к выводу, что ни один из перечисленных приемов не может служить «универсальной отмычкой» в решении вопроса об отборе экспертов и что идеальная методика такого отбора должна базироваться на сочетании различных приемов.

Процедура работы экспертов. На практике применяются различные процедуры. Но различие между ними сводится в основном к двум аспектам:

• характер контактов экспертов друг с другом (анонимный или нет);

• «обратная связь» в работе экспертов (наличие или отсутствие возможности самообучения в процессе экспертизы).

В соответствии с первым аспектом различаются очные и заочные (как правило, анонимные), в соответствии со вторыми – одноразовые и многоразовые (в несколько туров) опросы.

Одна из главных разновидностей очного (и, как правило, одноразового) опроса – так называемая «мозговая атака», или «коллективная генерация идей». В основе этой методики лежит организация коллективного обсуждения проблемы таким образом, чтобы стимулировать творческую активность экспертов, обеспечить их взаимное стимулирующее влияние друг на друга, вызвать своеобразную «цепную реакцию идей» и добиться получения качественно новой информации. В принципе такая организация пригодна для самых различных целей, но особое значение она имеет в прогнозировании, где необходима качественно новая информация.

Ключевое звено такой организации работы – категорический запрет на критику любого мнения, оценки, рекомендации, высказанных во время заседания экспертов, какое бы негативное впечатление на первый взгляд они ни производили. Напротив, требуется развитие высказанной партнером мысли независимо от своего первоначальною отношения к ней, поиск альтернативных решений, выявление принципиально новых подходов и т.п. Иными словами, механизм обратной связи, обеспечивающий самообучение экспертов, открывается только в одном направлении – в поиске оптимального решения поставленной проблемы путем конкуренции идей. Предполагается, что если подобраны эксперты, которым присуща не только эрудиция, оригинальность мышления и другие качества, упоминавшиеся в предыдущем разделе, а также доброжелательное отношение к чужим идеям, готовность их развивать, умение синтезировать на этой основе качественно новую информацию, то такая организация работы должна «расковать» творческие возможности экспертов и оказаться весьма плодотворной. Такое предположение подтверждено практикой научных исследований (в том числе прогнозирования), но лишь при условии строгого соблюдения методических требований.

Кроме запрета на критику и обязательности конструктивного развития идей сюда относятся также такие требования:

• подбор специалистов примерно равного научного и должностного статуса, чтобы избежать «давления авторитетом», нанесения ущерба для репутации, престижа эксперта;

• создание обстановки непринужденности, раскованности мыслей;

• максимальная краткосрочность сессии (не более полутора-двух часов, учитывая крайнюю напряженность умственного труда экспертов при такой организации работы);

• четкая формулировка поставленной на обсуждение проблемы во избежание отклонения от нее по ходу дискуссии;

• скрупулезная регистрация всех высказываний, сравнительная ценность которых в полной мере обнаруживается позднее;

• предоставление экспертам возможности дополнительных высказываний после завершения сессии, чтобы снять психологическое давление «последнего слова» и получить содержательную информацию, которая рождается нередко под впечатлением уже завершившейся дискуссии.

Обработка результатов опроса. Как следует из сказанного выше, цель опроса экспертов состоит в том, чтобы получить по той или иной проблеме мнение специалистов, максимально свободное от влияния случайных факторов. Поэтому математический аппарат методов опроса ориентирован в основном на получение характеристик «среднего» (усредненного) значения и на измерение степени разброса мнений экспертов.

Простейшая усредненная характеристика – средняя арифметическая полученных данных. Именно она обычно и применяется. Однако по мере роста разброса экспертных оценок эффективность средней арифметической падает: чем дальше отстает оценка от некоей средней величины, тем больше «вес» каждой из них при расчете средней арифметической, так что несколько случайных (или некомпетентных) оценок могут существенно «сместить» в сторону рассчитанную среднюю величину. Если, допустим, 10 экспертов назвали в качестве «года наибольшего ожидания» наступления какого-то события 2005г., а другие 10 – 2007г., то средняя арифметическая вычисляется просто и точно: 2006г. Но если хотя бы один эксперт по тем или иным причинам назовет, скажем, 2992г. (пример сугубо условный, конечно), то средняя арифметическая сместится далеко в будущее и потеряет в прогнозном отношении всякий смысл.

Возникает задача – «отсечь» случайные крайние оценки (что, разумеется, не исключает необходимости тщательного анализа и учета мотивов крайних оценок, так как не исключено, что какой-то мотив может оказаться настолько важным, что изменит мнение большинства). Эта задача в настоящее время решается обычно путем разделения всего ряда полученных оценок на четыре квартиля (четверти) по 25% оценок в каждом. При таком подходе крайние 1-й и 4-й квартили можно «отсечь» и изучать специально на предмет выяснения мотивов отклонений, а на основе 2-го и 3-го делать обобщающие выводы. Кроме того, при таком подходе можно вычислить медиану – величину, среднюю между 2-м и 3-м квартилем, делящую ряд оценок таким образом, чтобы число оценок с большим и число оценок с меньшим значением относительно некой средней величины было одинаковым. Специалисты по экспертным опросам считают, что медиана предпочтительнее средней арифметической, так как на нее меньшее влияние оказывают «чрезмерно» большие или малые оценки, и она в большинстве случаев оказывается более устойчивой, менее подверженной случайности подбора экспертов.