1 Было бы неплохо, если бы все свои параграфы прочитала Лобова с.В. .12. Экспертные оценки в научных исследованиях

В экономических исследованиях довольно часто применяется метод экспертных оценок (МЭО), который представляет собой получение первичных данных путем проведения экспертных опросов. Термин «эксперт» происходит от латинского слова expertus, что означает «опытный». Привлекаемые для применения метода эксперты служат своего рода «измерительными прибо­рами» для получения количественных оценок процессов и сужде­ний, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению. Продуктивность данного метода объясняется тем, что в качестве элемента осмысления исследуемого явления выступает целостное мировоззрение эксперта, что более полно использует эвристический потенциал человека. Сам процесс интеграции разрозненных данных в целостную картину социально-экономического явления может осуществляться многослойно: на начальном этапе, на уровне индивидуальной оценки эксперта, впоследствии в процессе общения и выработки единой концепции явления. Эффективность экспертных методов значительно возрастает за счет рефлексивных процедур, осуществляемых в процессе исследования, когда один эксперт, знакомясь с мнениями других, корректирует свою позицию, либо находит дополнительную аргументацию в ее защиту. Сила экспертных методов не в расширении информационной базы исследования, а в правильной организации процесса оценивания и общения экспертов, в ходе которого происходит не только количественное уточнение, но и качественное обогащение представлений о процессе за счет генерации новых идей.

Экспертные методы относятся к достаточно экономичным и универсальным методам, так как могут быть использованы, как уже указывалось выше, на разных стадиях исследования, начиная от сбора данных до их интерпретации.

Экспертные оценки можно получить путем непосредственного контакта организаторов с экспертами или заочно, на основе индивидуального или коллективного опроса в письменном (путем заполнения таблиц, анкет) или устном изложении (интервью, участие в дискуссии). Сама экспертная процедура может включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров, а эксперты могут не общаться между собой, общаться заочно анонимно или без анонимности, очно общаться с наложением ограничений или без таковых.

Отступление 1.23. Экспертные оценки. Как это бывает

Индивидуальные оценки – это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач – диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению – симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация – в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода – военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: «Давать или не давать французам сражение под Москвой?».

Другой простейший пример экспертных оценок – оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется – перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены. …

Реальные экспертизы часто представляют собой комбинации различных … типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно – это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы – один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец – очная экспертиза без ограничений (для членов ГАК – государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные – в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК – с весом 1, мнения всех остальных – с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Орлов А.И. Теория принятия решений. Учебное пособие. – М.: Издательство «Март», 2004 // http://www.aup.ru/books/m157/3_4_1.htm

Преимущество использования коллективных экспертных оценок перед индивидуальными основано на возможности получения «синергического» эффекта: в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, и, как правило, содержит в себе «истинный» ответ.

Важным этапом экспертного опроса является разработка анкет (вопросников) и подготовка инструментария, необходимого для проведения экспертного метода. Разработке анкет следует уделить особое внимание. Они содержат перечень вопросов, позволяющих оценить анализируемый объект, явление и т.д. и тем самым достичь конечной цели.

Форма и содержание вопросов должны соответствовать следующим требованиям:

• должна использоваться общепринятая терминология в формулировках вопросов;

• в формулировках не должно содержаться смысловой неопределенности;

• вопросы должны обеспечивать единственное толкование;

• последовательность вопросов должна соответствовать структуре объекта анализа исследуемого предмета, явления.

Это означает, что исследователь-организатор экспертного опроса, подготавливающий анкету, должен быть хорошо знаком с изучаемой проблемой и объектом анализа, а также с методами составления анкет.

К экспертным оценкам предъявляются требования достоверности и экономичности. Достоверность является функцией количества экспертов, их уровня квалификации и деловых качеств. Поэтому одной из основных задач при подборе экспертов является определение оптимального их количества в условиях ограниченности затрат на получение результатов надлежащей достоверности.

Определение минимально допустимого количества экспертов представляет собой задачу высокой сложности и особой актуальности. Но в последнее время предложен ряд подходов, позволяющих с приемлемой точностью решать эту задачу. Основными из них являются неформализованный и формализованный.

При использовании неформализованного подхода к формированию экспертной группы вначале определяется примерное число будущих экспертов. Малочисленность группы не позволяет обеспечить достаточную статистическую достоверность их выборочной оценки. Кроме того, при небольшом числе представителей экспертной группы на общую групповую оценку существенное влияние оказывают индивидуальные оценки экспертов. Многочисленная группа так же имеет свои недостатки. В ней бывает трудно выявить согласованное мнение экспертов, возрастает взаимозависимость высказываемых мнений, возникают организационные трудности проведения экспертного исследования, увеличиваются затраты времени и денежных средств на проведение оценки качества. Для выхода из этого противоречия можно использовать так называемый метод «снежного кома». Первоначальный список потенциальных экспертов составляют организаторы экспертного опроса. Затем каждый из числа отобранных лиц рекомендует специалистов, способных дать заключение по каждому вопросу проводимого исследования. Получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Последние в свою очередь дают рекомендации о включении в данный список других экспертов. Процесс составления экспертной группы осуществляется путем проведения некоторого числа последовательных итераций. Расширение списка останавливается после стабилизации совокупности рекомендуемых экспертов, на итерации, на которой список потенциальных экспертов перестает пополняться новыми специалистами, то есть когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. При отборе экспертов нужно руководствоваться определенными требованиями (см. отступление 1.24).

Отступление 1.24. Требования к участникам экспертизы

Основные требования, предъявляемые к участниками экспертизы, для получения качественного результата их работы:

• высокий уровень общей эрудиции;

• высокий квалификационный (профессиональный) уровень в оцениваемой области;

• способность перспективно мыслить;

• восприимчивость инноваций;

• отсутствие субъективизма в отношении практического применения оцениваемой идеи;

• наличие производственного, исследовательского опыта в данной области.

Источник: http://manage.ru/management/manman/09-2.shtml. - Корпоративный менеджмент

Формализованный подход к формированию экспертной группы и определению численности и состава ее участников основан на расчете минимальной и максимальной границ численности экспертов, включаемых в состав группы. Формализованный подход позволяет избежать определенных ошибок субъективизма, которые могут иметь место при применении неформализованного подхода. Его применение требует выполнения определенных условий.

Первое условие используется для того, чтобы определить максимальную численность экспертной группы .

где с – константа; k_max – максимально возможная компетентность по используемой шкале компетентности; k_i – компетентность i-го эксперта.

Условие максимальной численности экспертов предполагает, что при наличии специалистов, обладающих наибольшей компетентностью, среднее значение их оценок можно считать «истинным». Константа определяется путем простого голосования. Группа считается избранной при 2/3 голосов присутствующих, отданных за ее избрание. Исходя из этого константа «с» принимается также равной 2/3.

Т аким образом, максимальная граница численности экспертной группы:

Коэффициент компетентности складывается из следующих параметров: результаты тестирования, отношение к экспертизе, информированность по данному вопросу, включающая в себя знакомство с отечественными и зарубежными источниками, практический и теоретический опыт, а также интуицию.

После этого определяется минимальная граница численности экспертной группы с учетом второго условия – стабилизации средней. Оно отражает факт незначительного влияния состава экспертной группы, а именно, включения и исключения из нее какого-либо специалиста, на среднее значение оценки выполнения требований или формализованном виде:

где – средняя оценка прогнозируемого показателя в баллах, данная экспертной группой; – средняя оценка, данная экспертной группой с измененным составом (при включении или исключении из нее какого-либо одного эксперта); – максимально возможная оценка выполнения требований по принятой шкале оценок; – заданная величина изменения средней ошибки при включении или исключении из группы одного эксперта.

Величина средней ошибки имеет наибольшую чувствительность к оценке самого компетентного эксперта, который поставил наибольший балл при и наименьший при .

Следовательно, для проверки выполнения неравенства условия стабилизации средней, из группы следует исключить одного эксперта. В зависимости от допустимой величины средней ошибки минимальное число экспертов в группе можно определить по формуле:

Окончательно же группа формируется путем последовательного исключения малокомпетентных экспертов при соблюдении условия:

где – задаваемая величина границ допустимого отклонения компетентности i-го эксперта от максимальной величины.

Одновременно в группу могут быть включены новые потенциальные эксперты. Таким образом, численность группы устанавливается в пределах:

Для применения формализованного метода учитывают два условия: высокую среднюю компетентность групп экспертов и стабилизацию средней оценки выполнения требования организатора исследования.

Значимым вопросом при использовании МЭО на практике является оценка уровня квалификации и деловых качеств экспертов. Такая оценка необходима для учета значимости мнения каждого эксперта и их влияния на общий результат.

Для определения компетентности потенциальных экспертов и их соответствия перечисленным требованиям используется субъективный и объективный подходы. При первом осуществляется самооценка будущего эксперта, при втором – его опыт и результаты прошлой деятельности изучаются специалистом или их группой (см. отступление 1.25).

Отступление 1.25. Компетентность экспертов: проблемы оценки

 Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах – хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

 Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких – нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. 

 При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3 – 4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они «вместе пуд соли съели». Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

 Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии.

Источник: Орлов А.И. Теория принятия решений. Учебное пособие. - М.: Издательство «Март», 2004 // http://www.aup.ru/books/m157/3_4_1.htm

Оценка уровня квалификации и деловых качеств специалистов с учетом прошлого опыта может иметь место в том случае, если они регулярно привлекаются в качестве экспертов. Однако необходимость экспертной оценки возникает периодически, и, кроме того, не представляется возможным иметь постоянный состав экспертов.

Самооценка экспертами своего уровня квалификации и деловых качеств является слабо отработанным приемом и требует от организаторов проведения самой тщательной подготовки, наличия большого опыта и высокой квалификации. Кроме того, эксперты могут сознательно занижать или, наоборот, завышать оценку уровня квалификации и деловых качеств, что в целом искажает результат экспертной оценки.

Наиболее доступной и достоверной среди существующих является методика определения уровня квалификации и деловых качеств экспертов с помощью специальных опросных анкет. При этом в анкетах отдельных групп экспертов-практиков и исследователей вводятся характеристики, каждая из которых имеет определенные градации. Перечень как характеристик, так и их градаций уточняется, а затем значимость последних ранжируется экспертами. Ранжирование градации характеристик, оценивающих уровень квалификации и деловые качества экспертов, осуществляется по баллам от 0 до 10 включительно (не обязательно только целыми). Причем в рамках одной характеристики различные градации могут иметь одинаковые веса.

На основе средних балльных оценок градации рассчитываются поправочные коэффициенты (К_n и K_и), значения которых умножаются на ответ каждого отдельного эксперта в зависимости от его конкретных характеристик:

где К_n и К_и – коэффициенты, характеризующие уровень квалификации и деловых качеств каждого эксперта-практика и эксперта-исследователя; и – средние экспертные оценки, характеризующие стаж работы эксперта-практика и эксперта-исследователя в исследуемой сфере; – средние экспертные оценки, характеризующие стаж работы эксперта-практика в занимаемой должности; – средние экспертные оценки, характеризующие уровень образования эксперта; – средние экспертные оценки, характеризующие должность эксперта-практика; – средние экспертные оценки, характеризующие квалификацию эксперта-практика; – средние экспертные оценки, характеризующие стаж исследовательской деятельности; – средние экспертные оценки, характеризующие ученую степень эксперта-исследователя; – средние экспертные оценки, характеризующие академическое звание эксперта-исследователя; – средние экспертные оценки, характеризующие значимость научных трудов эксперта-исследователя.

Здесь следует отметить, что в представленных формулах множитель со значением 0,1 использован для перехода от десятичных балльных оценок, с помощью которых измеряется значимость градации характеристик, к долям единицы, которые применяются при измерении значения коэффициентов.

Обработка ответов на вопросы анкеты позволяет получить количественную оценку компетентности предполагаемого эксперта. Если одновременно используется несколько способов оценки его компетентности, желательно определить какой-либо сводный, обобщающий показатель для каждого эксперта (см. отступление 1.26).

Отступление 1.26. Об одном опыте проведения экспертного опроса

При решении задачи по количественному измерению составляющих К использовалась индивидуальная форма получения экспертных оценок в письменном виде на основе непосредственного контакта организаторов с экспертами. Именно такая форма позволяет получать более продуманные по времени и полные по содержанию ответы при максимальном использовании квалификации экспертов. С этой целью разрабатывалась специальная опросная анкета, состоящая из следующих частей:

• вводной, в которой раскрывается сущность задачи и порядок использования данных для получения окончательных суждений экспертов;

• инструктивной, содержащей подробные указания о порядке заполнения анкет;

• основной, которая содержит перечень частных критериев с градациями для оценки состояния;

• справочный, в которой каждый эксперт заносит о себе необходимые сведения (стаж работы в анализируемой области исследования, стаж работы в занимаемой должности, образование и т.д.), необходимые для расчетов коэффициентов К_n и К_и.

Эксперты определяли значимость градации частных критериев и численное значение весов m_i балльными оценками от 0 до 10.

Например, начальник отдела объединения выступает в качестве эксперта и имеет следующие характеристики.

   

Наименование характеристик	Значение градации характеристик	Средние экспертные оценки в баллах
Стаж работы	12 лет	5,77
Стаж работы в занимаемой должности	4 года	4,29
Образование	Высшее	8,32
Должность	Начальник отдела объединения	5,47
Квалификация	Инженер-экономист	8,52

Поправочный коэффициент, характеризующий уровень квалификации и деловые качества начальника отдела объединения будет равен

К_n = 0,1 (5,77 + 4,29 + 8,32 + 5,47 + 8,52)/5 = 0,647.

Источник: Инвестиции в России, 2001. №5.

Для этого, в частности, может служить показатель средней компетентности (d_j), исчисленный по формуле средней арифметической, взвешенной с учетом значимости каждого способа.

,

где – оценка компетентности j-го эксперта, полученная i-ым способом; – весовой коэффициент i-го способа оценки; i – индекс примененного способа оценки, .

Так как оценки экспертов представляют собой случайные величины, то необходимо количественно измерять согласованность их мнений. Для оценки совпадений мнений экспертов можно рекомендовать использование коэффициента конкордации (от лат. concordare – привести в соответствие, упорядочить), согласованности – W.

где S – сумма квадратов отклонений сумм рангов (ответов, данных всеми экспертами на каждый вопрос) от среднего значения суммы рангов по данному предмету (объекту) исследования ( )

Тогда

где R_i – ранги, присвоенные каждому вопросу i-ым экспертом; m – число экспертов; n – число вопросов.

Значение коэффициента конкордации находится в пределах 0<W<1. W = 0 означает полную противоположность мнений экспертов, а W=1 – полное совпадение ранжировок. На практике достоверность экспертной оценки считается хорошей, если W = 0,7 – 0,8.

Подбор экспертов является первоначальным и важным этапом экспертной процедуры. Возможные же коллективные экспертные процедуры подразделяются на три типа (см. рис. 1.11).

Рис. 1.11. Классификация коллективных экспертных процедур

Открытое обсуждение экспертами поставленных вопросов с последую­щим открытым или закрытым голосованием предполагает, что группа экспертов за «круглым столом» обсуждает поставленную проблему с целью выработки единого коллективного мнения по решаемой проблеме. Этот метод иногда называют методом совещаний, комиссии. В ходе обсуждения каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. Достоинством метода является простота его реализации. При этом действие таких факторов, как влия­ние авторитетных и «напористых» участников на суждение ос­тальных или нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично могут влиять на степень достоверности полученных оценок.

Свободное высказывание мнений экспертами без обсуждения и голосования предусматривает отсутствие любого вида критики, препятствующей формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы. В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более экстравагантные соображения.

Такой метод обсуждения получил названия метода коллек­тивной генерации идей (по американской терминологии – метод «мозговой атаки»). Он направлен на получение большого количе­ства идей, в т.ч. и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний. Значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и сти­хийный характер генерации идей – являются важнейшими недостатками этого метода.

Закрытое обсуждение мнений экспертов с последующим закрытым голосова­нием или заполнением анкет экспертного опроса исключает контакты между экспертами (заочное анонимное общение), тем самым нивелируя действие таких факторов, как влияние автори­тетных и «напористых» участников на суждение остальных, клановые пристрастия участников, присоединение к мнению наиболее авторитетного специалиста, следование за мнением большинства, неравенства профессионального, должностного, научного статусов участников.

Примером экспертных процедур этого типа является метод Дельфи, названного по имени греческих дельфийских оракулов, о котором речь идет и в параграфе 1.15. В данном методе прямые обсуждения заменяются несколькими турами экспертных опросов. При этом между турами после обобщения ответов эксперты знакомятся с мнениями друг друга при сохранении анонимности, что позволяет им в слу­чае необходимости изменять свою оценку, принимая в расчет обстоятель­ства, которые они могли случайно упустить или которыми пре­небрегли в первом туре опроса. Благодаря этому результаты вто­рого и последующих туров опроса дают, как правило, меньший разброс оценок. Число туров экспертных опросов зависит от заданной степени сходимости оценок (совпадения точек зрения) экспертов, которая рассчитывается после каждого тура.

Пример применения методики расчета коэффициента конкордации, которая может быть использована при подборе группы экспертов, приведен ниже.

Пусть имеется десять вопросов, характеризующих компетентность каждого эксперта в области знания рисков хозяйственной деятельности предприятия. В экспертную группу предполагается включить пять специалистов, которые являются экспертами в этой сфере знаний. Данные и расчеты по ним представлены в таблицах 1.4 и 1.5.

Таблица 1.4

Ранги ответов, данных экспертами, на вопросы

Эксперты	Ответы
	1	2	3	4	5	6	7	8	9	10
А	1	2	3	4	5	6	7	8	9	10
B	3	4	5	8	9	10	1	2	6	7
C	2	3	4	8	9	10	1	5	6	7
D	4	5	6	7	8	9	2	3	1	10
E	4	3	2	5	6	7	1	8	9	10
Общая сумма рангов	14	17	20	32	37	42	12	26	31	44

Таблица 1.5

Название

Показатель	Вопросы										Итого
	А	B	C	D	E	F	G	H	I	J
Сумма рангов по каждому вопросу	14	17	20	32	37	42	12	26	31	44	-
Отклонения от рангов средней суммы	-8,5	-5,5	-2,5	9,5	14,5	19,5	-10,5	3,5	8,5	21,5	-
Квадрат отклонения	72,25	30,25	6,25	90,25	210,25	380,25	110,25	12,25	72,25	462,25	1446,5

По данным таблицы 1.5 исчисляется коэффициент согласованности рангов:

Так как коэффициент конкордации служит мерой общности суждений экспертов, очевидно, что при совпадении мнений экспертов, его величина равна 1. Если различия во мнениях очень велики, коэффициент конкордации приближается к нулю. В данном примере он приближен к единице.

Другими важными задачами, решаемыми в рамках метода экспертных оценок, являются построение шкал, ранжирование, парное и последовательное сравнения и другие процедуры экспертных измерений. Но поскольку наиболее важной задачей в применении этого метода, как уже отмечалось, является подбор экспертов, ей и уделено особое внимание. Другие же процедуры Вы можете изучить по специальной литературе.

Может быть, найти другое слово вместо «специальные». ????

Лобова С.В.