Основные проблемы экспертного оценивания

Экспертные оценки при принятии решений в той или иной форме использовались во все времена. Дельфийский оракул в Древней Греции вещал внушаемые свыше пророчества, а совет старейшин их интерпретировал, стремясь верно определить подсказанное богами решение.

Организация и проведение экспертиз, реализованных в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить оценку возникавших управленческих ситуаций и принятие эффективных управленческих решений

По мере совершенствования и усложнения принятия решений, по мере того, как в мире все больше внимания уделялось технологиям, возрастало внимание к экспертным оценкам, технологиям экспертного оценивания.

Началом становления экспертных оценок как самостоятельного раздела науки об управлении считается создание первых официально описанных и исследованных технологий экспертного оценивания, в частности появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз, методам Делфи, мозговой атаки, сценариев, описанию опыта их использования.

Экспертные оценки - это суждения высококвалифицированных специалистов-профес-сионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений.

Экспертизы бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без него, анонимные и открытые. Многообразие областей применения делает достаточно многообразным и гибким используемый на практике аппарат экспертного оценивания. Однако опыт показывает, что при реальном использовании экспертных оценок далеко не всегда можно уложиться в одну из широко известных и применяемых схем.

Основные направления совершенствования и развития экспертных технологий даны ниже.

1. Формирование экспертной комиссии. Одна из центральных проблем при формировании экспертной комиссии - определение качества эксперта. При формировании экспертной комиссии необходимо предусмотреть возможность эффективного взаимодействия экспертов, входящих в ее состав, для получения полной и адекватной оценки объекта экспертизы. Следует обратить внимание на решенную в автоматизированных системах экспертного оценивания задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача - подбор для эксперта объектов, с которыми он профессионально наиболее знаком.

2. Организация и проведение экспертиз. Не менее важная проблема - организация и проведение экспертиз. Ей посвящен ряд работ специалистов в области технологий экспертного оценивания. Это прежде всего работы по систематизации многочисленных разновидностей метода Делфи, касающиеся в основном совершенствования процедур обмена информацией между экспертами в процессе экспертизы. Дальнейшее развитие получили методы мозговой атаки, сценариев, ситуационного анализа.

Для экспертизы сложных объектов, в частности научно-технических объектов, развивались и совершенствовались такие методы, как методы Глушкова и Поспелова, различные разновидности использования метода деревьев целей и критериев и др. Разрабатывались механизмы выявления экспертных знаний и оценок. В настоящее время все большее значение приобретает проведение комплексных экспертиз при оценке сложных объектов.

3. Получение экспертной информации. Широкое распространение получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения, методы Л. Терстона и Черчмена - Акофа, метод векторов предпочтений и др.

Естественно, что различные виды экспертной информации требуют как различных методов ее получения, так и различных методов обработки.

При практическом использовании значительное внимание уделяется как качественным, так и количественным методам получения экспертной информации. Широко используется и развивается язык бинарных отношений для единообразного представления количественной и качественной экспертной информации.

Разрабатываются методы измерения экспертной информации. К числу основных проблем теории измерений относятся проблемы:

- представимости экспертной информации;

- единственности измерений;

- адекватности.

Последняя особенно важна для определения корректных преобразований экспертной информации при расчетах результирующих экспертных оценок - результата работы экспертных комиссий.

Проблема единственности измерений экспертной информации тесно связана с введением основных шкал теории измерений: шкал интервалов, разностей, отношений, порядковых шкал.

4. Определение результирующих экспертных оценок. Одна из центральных проблем обработки экспертной информации - определение результирующих экспертных оценок, т.е. результата коллективной работы экспертов. Для этой цели был введен аналог расстояния - мера близости между ранжированиями, классификациями. Это позволило разработать такие коррек-тные способы определения результирующих экспертных оценок, метод строчных сумм и др.

Разработаны методы, определяющие целесообразность использования тех или иных видов результирующих в зависимости от характера экспертной информации. Установлена связь между методами определения результирующих экспертных оценок и принципами коллективного выбора, сформулированными Дж. Эрроу.

Получили дальнейшее развитие методы группового выбора.

5. Многокритериальные оценки. Многолетний опыт использования методов и процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при использовании методов многокри-териального оценивания. Получили развитие методы определения факторов, характеризующих объекты экспертизы, в частности многомерное шкалирование, факторный анализ, статистические методы определения существенных факторов. Развивались методы оценки их сравнительной весомости, принципы принятия решений на основе оценок объектов по многим критериям, далеко не всегда сводящиеся к "сверткам". Проведена систематизация и классификация принципов выбора и анализ результатов их использования при принятии решений.

Применяются композиционные принципы выбора. Решаются задачи многокритериальной оптимизации, использующие экспертную информацию.

6. Анализ результатов экспертизы. Полученная экспертная информация обязательно должна быть проанализирована. Получили развитие методы оценки согласованности экспертных суждений, высказанных в виде ранжирований, парных сравнений. При этом установлена связь между коэффициентами ранговой корреляции, характеризующими согласованность экспертных суждений, и упомянутыми ранее мерами близости. На основании оценки степени согласованности экспертных суждений определяются коалиции экспертов-"единомышленников".

Разработаны методы оценки непротиворечивости экспертных суждений. Особенно актуален такой анализ при использовании метода парных сравнений.

Развиваются методы оценки точности экспертных суждений. При этом большое развитие получили методы оценки сравнительной точности экспертных суждений при использовании различных критериев оценки точности.

Поставлены и частично решены проблемы оценки степени конъюнктурности, конформизма и других факторов, характеризующих адекватность экспертной информации.

7. Компьютерные системы экспертного оценивания. Для современного этапа использования методов экспертного оценивания характерно широкое применение компьютерных систем поддержки. К числу таких систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов - специалистов высокой квалификации специалистами менее высокой квалификации для решения задач, возникающих в их практической деятельности.

Системы поддержки принятия решений, находящие применение в различных областях, в качестве одной из основных составляющих используют результаты экспертного оценивания. Однако наиболее важный класс компьютерных систем, позволяющих непосредственно сопровождать и поддерживать процедуры получения, обработки и анализа экспертной инфор-мации, - автоматизированные системы экспертного оценивания. Они обеспечивают техноло-гическое сопровождение, необходимое методическое и информационное обеспечение экспертного оценивания при организации и проведении экспертиз с учетом специфического характера экспертизы.

Широкое распространение получили в настоящее время интегрированные системы управления, в которых реализовано информационное обеспечение основных бизнес-процессов на современном крупном предприятии, в корпорации, банке. Однако сам процесс подготовки и принятия управленческих решений в интегрированных системах управления представлен недостаточно.