2.5. Методы типа «Дельфи»

Характерный для середины XX в. бурный рост науки и техники вызвал большие перемены в от­ношении к оценкам будущего развития систем. Одним из резуль­татов этого периода в развитии методов анализа сложных систем явилась разработка методов экспертной оценки, известных в ли­тературе как «методы Дельфи». Название этих методов связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н. э. до IV в. н. э. по преданиям существовал Дельфийский оракул.

Суть метода Дельфи заключается в следующем.

В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфи предполагает полный отказ от коллективных обсуждений.

Это делается для того, чтобы уменьшить влияние таких психологических факто­ров, как присоединение к мнению наиболее авторитетного специ­алиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены тщательно разработанной программой после­довательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряже­ние экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достиже­ния приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оце­нок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, ко­торая должна помочь снизить влияние психологических факто­ров при проведении повторных заседаний и повысить объектив­ность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Основные средства повышения объективности результатов при применении Дельфи-метода:

• использование обратной связи;

• ознакомление экспертов с результатами предшествующего тура опроса;

• учет этих результатов при оценке значимости мнений экспертов.

Процедура Дельфи-метода заключается в следующем:

• в упрощенном виде организуется последовательность циклов мозговой атаки;

• в бо­лее сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников, ис­ключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопрос­ники от тура к туру могут уточняться;

• в наиболее развитых методиках экспертам присваиваются весовые коэффициенты зна­чимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые и учитываемые при получе­нии обобщенных результатов оценок.

Для повышения результативности опросов и активизации эк­спертов иногда сочетают процедуру Дельфи с элементами дело­вой операционной игры: эксперту предлагается не только прово­дить самооценку, но поставить себя на место конструктора, которому реально поручено выполнить проект или, по крайней мере, иметь в виду, что его оценка рассматривается одновремен­но и как некоторое обязательство взяться за реальное осуществ­ление проекта.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США, осуществленное RAND Corporation во второй половине 40-х годов, показало его эффективность и целесообразность распрост­ранения на широкий класс задач, связанных с оценкой будущих событий. Так, в 1964 г. было проведено исследование возможностей долгосрочного прогнозиро­вания методом Дельфи той же RAND Corporation. В экспертной оценке приняли участие 82 специалиста, которые были разделены на шесть групп в соответствии с характером исследуемых проблем: научные открытия, рост народонаселения, автоматизация производства, освоение космоса, предотвращение войны, военная техника.

Результаты статистической обработки мнений экспертов позволили на­рисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.

Метод «Дельфи» является заочным методом экспертных оценок и предусматривает многократный анкетный опрос одной и той же группы экспертов с применением шкалированных оценок.

После завершения очередной итерации оценки статистически обрабатывают.

Метод характеризуется следующими особенностями:

• анонимностью экспертов;

• регулируемой обратной связью, которая осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура сообщаются экспертам;

• групповым ответом, который получается с помощью статистических методов и отражает обобщенное мнение участников экспертизы.

Процедура экспертного опроса по методу «Дельфи» состоит из следующих этапов.

1. Формирование рабочей группы. Задача рабочей группы заключается в организации процедуры экспертного опроса.

2. Формирование экспертной группы. В соответствии с методом «Дельфи» группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

3. Формулирование вопросов. Формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

4. Проведение экспертизы. Метод «Дельфи» предполагает повторение нескольких шагов проведения опроса. По итогам первого опроса выделяются крайние, так называемые «еретические» мнения, и авторы этих мнений обосновывают свою точку зрения с последующей дискуссией. Это позволяет, с одной стороны, всем экспертам принять во внимание аргументы сторонников крайних точек зрения, с другой – дает возможность последним еще раз продумать свою точку зрения и или дополнительно обосновать ее, или отказаться от нее. После дискуссии опрос проводится снова с целью предоставления возможности экспертам принять во внимание итоги обсуждения. И так повторяется 4-5 раз до тех пор, пока точки зрения экспертов не сблизятся.

5. Подведение итогов опроса. По методу «Дельфи» за итоговое мнение экспертов принимается медиана, то есть среднее в упорядоченном ряду мнений значение. Если ряд, упорядоченный по величине ответов, включает в себя значений: , то в качестве итоговой оценки по результатам опроса принимается мнение М, определяемое следующим образом:

Недостатки метода Дельфи:

• значительный расход времени на проведение экспертизы, свя­занный с большим количеством последовательных повторений оценок;

• необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывает­ся на результатах экспертизы.

В 60-е годы область практического применения метода Де­льфи значительно расширилась, однако присущие ему ограни­чения привели к возникновению других методов, использующих экспертные оценки. Среди этих методов особого внимания заслу­живают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology, что означает «количественные оценки полезности науки и техники») был разработан для целей повышения эффек­тивности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого методом экспертной оценки) различных отраслей и научных направлений в решение определенного круга задач. Особенностями применения метода QUEST являются: привлече­ние широкого круга высококвалифицированных специалистов в различных областях науки и техники, а также представление экспертам разнообразной достоверной и релевантной информа­ции.

Метод SEER (System for Event Evaluation and Review) — система оценок и обзора событий. В этом методе предусмотрено всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура — специалисты промы­шленности, а эксперты второго тура — наиболее квалифициро­ванные специалисты из органов, принимающих решения, и специ­алисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов, за исключением тех случаев, когда его ответ выпадает из некоторо­го интервала, в котором находится большинство оценок (напри­мер, интервала, в котором находится 90% всех оценок).