Лекция 4. Экспертные оценки при разработке управленческих решений

4.1. Основные понятия об экспертных оценках

Экспертные оценки в той или иной форме использовались во все времена. Однако внимание к ним существенно возрастало по мере усложнения производственных технологий, а, следовательно, и процесса разработки решений. Официальным началом их становления считают 50-е – 60-е годы  века.

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений; возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов; возможностей последних принять участие в работе экспертной комиссии.

Применяют три основные группы оценки качеств эксперта: априорные, апостериорные, тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах. В эту группу включает в число прочих методы самооценивания, когда эксперт сам даёт оценку своим качествам, используя следующие способы:

• самооценка по одной из бальных шкал;

• самооценка с использованием числовых шкал, которые наряду с численными значениями градаций содержат их качественное описание;

• самооценка по вербальной шкале, т.е. эксперт даёт словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;

• самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий знакомство с объектом экспертизы.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты взаимно оценивают друг друга. Наиболее распространённый из них – метод списка экспертов.

К числу априорных методов оценки качеств эксперта относится также весьма распространённый документационный (анкетный) метод.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки уровня компетентности специалиста может быть применён метод парных сравнений.

Апостериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

Ещё одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчёте коэффициента отклонения КО.

Коi=D oi /D max

К oi -коэффициент отклонения суждений i-го эксперта; D oi -отклонение индивидуальной оценки i-го эксперта от результирующей оценки; D max –максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качества эксперта. Их суть - выполнение испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только установить наличие у эксперта определённого профессионального уровня, но и выявить навыки и опыт, необходимые для эффективного участия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближённых к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел «забыть» результаты предыдущего. После завершения эксперимента полученные оценки сравниваются.

Главными задачами экспертных оценок являются:

1. Определение целей. При принятии важных решений необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций рекомендуется применять “дерево целей”.

2. Экспертный прогноз. Особую роль при принятии решений играют проблемы, связанные с оценкой будущего развития анализируемых ситуаций, ожидаемых результатов альтернативных вариантов решений. Экспертная информация содержит не только количественные, но и качественные оценки, поэтому стать базой для прогнозов, и даже более реалистичной, чем тривиальная статистическая информация.

3. Сценарии ожидаемого развития ситуации. Наиболее часто для формирования сценария применяют метод “мозговой атаки” в сочетании со специальными приемами использования аналитической информации.

4. Генерирование альтернативных вариантов. Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа “мозговой атаки”, а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов.

6. Оценочные системы. Формируются при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели.

7. Принятие коллективных решений. Здесь проводится не только коллективная экспертиза, но и открытое обсуждение альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими непосредственное участие в процессе принятия решений, согласования, поиска, компромисса.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т.д. Характер экспертной информации, которую предполагается использовать при принятии решений, накладывает определенные требования на выбор конкретного метода экспертизы.

Рассмотрим наиболее популярные методы экспертиз.

Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Однако метод комиссий обладает и недостатками. В частности, отсутствует анонимность, что может приводить к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны. Возможно и третья «сила», которая регулирует ход экспертизы и выносит окончательное решение.

Метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергаются уже не конечная, а промежуточные цели, сформированные экспертами на первом туре. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда более не требуются дополнительные анализы и детализаций.

Метод сценариев. Сценарий означает сюжетную схему, то есть заранее подготовленный детальный план осуществлении чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий. При подготовке сценария большое внимание обращают на критические точки ветвления, т.е. точки, в которых малые воздействия оказывают заметное влияние на результат.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант - небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария. Чем больше генерируется и анализируется вариантов, тем выше эффективность адресных опережающих воздействий на конкретные подсистемы объекта управления.

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны “Дельфи” и «Мозговой штурм».