Глава 4. Экспертные процедуры и методы

СУБЪЕКТИВНЫХ ОЦЕНОК ПРИ ИЗМЕРЕНИИ РИСКА

14. Характеристика экспертных процедур

Выше были рассмотрены часто применяемые в практичес­кой деятельности статистические методы количественной оценки экономического риска.

Вместе с тем, существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием досто­верной информации, использование статистического Метода не представляется возможным.

В таких случаях широко применяются методы, использую­щие результаты опыта и интуицию, то есть эвристические ме­тоды или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальнос­ти получаемых решений. Общей направленностью этих проце­дур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являют- \ ся различные экспертизы, консилиумы, совещания и т.п., ре­зультатом которых являются экспертные оценки состояния : объекта исследования.

- Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприя­тия. Одной из сфер его применения является качественный ана­лиз и количественная оценка экономического риска.

Рассмотрим кратко характеристику экспертных процедур.

В практической деятельности применяются как индивидуаль­ные, так и групповые (коллективные) экспертные оценки (оп­росы).

Основными целями использования индивидуальных экспер­тных оценок являются:

— прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к

анализу и оценке риска — это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рис­ковых событий, назначение коэффициентов относительной важ­ности (значимости последствия) и ранжирование рисков, вы­явление путей снижения риска и др.;

15. анализ и обобщение результатов, представленных други­ми экспертами;

16. составление сценариев действий;

17. выдача заключений на работу других специалистов и орга­низаций (рецензии, отзывы, экспертизы и т.п.).

Достоинством индивидуальной экспертизы является опера­тивность получения информации для принятия решений и от­носительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в до­стоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить кол­лективные экспертные оценки.

Процессу группового обсуждения по сравнению с индиви­дуальными оценками присущи некоторые отличительные осо­бенности: коллективные оценки, как правило, менее субъек­тивны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с боль­шей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных отве­тов экспертов должна включать «истинный» ответ.

Можно выделить следующие типы групповых экспертных процедур:

• открытое обсуждение поставленных вопросов с последу­ющим открытым или закрытым голосованием;

• свободное высказывание без обсуждения и голосования;

• закрытое обсуждение с последующим закрытым голосо­ванием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения воп­росов, поставленных перед группой экспертов, относящиеся к

первому типу экспертных процедур, не всегда обеспечивают достижение цели — достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влия­ние авторитетных и «напористых» участников на суждение ос­тальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на прак­тике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки риска) все большее распространение находят второй и третий типы групповых экс­пертных процедур.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующего формули­ровке идей, свободную интерпретацию идей в рамках постав­ленной проблемы.

Такой метод обсуждения получил названия метода коллек­тивной генерации идей (по американской терминологии метод «мозговой атаки»). Он направлен на получение большого коли­чества идей, в том числе и от лиц, которые, обладая большой эрудицией, обычно воздерживаются от высказываний.

Процесс выдвижения идей протекает в определенном смыс­ле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.

Исследования эффективности метода коллективной генера­ции идей показали, что групповое мышление производит на 70% больше новых ценных идей, чем сумма индивидуальных мышлений. С помощью этого метода может успешно решаться ряд задач управления риском, таких как:

18. выявление источников и причин риска, установление всех возможных рисков;

19. выбор направлений и путей снижения риска;

20. формирование полного набора и качественная оценка ва­риантов, использующих различные способы снижения риска или их комбинацию, и др.

К числу важнейших недостатков метода коллективной гене­рации идей относится значительный уровень информационно­го шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

При использовании результатов групповых экспертных про­цедур, осуществляемых посредством открытого обсуждения по­ставленных проблем, следует учитывать такое явление, как «сдвиг риска».

Феномен сдвига риска заключается в том, что после прове­дения открытой групповой дискуссии возрастает уровень рис­кованности принимаемых решений.

Существует ряд гипотез, объясняющих это явление — диф­фузия ответственности, ознакомление, лидерство, изменения полезности, риска как ценности и др.

В настоящее время наиболее распространенным объяснени­ем явления «сдвига риска» является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся по­высить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способных и умеющих рисковать. Таким образом, данная гипо­теза исходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного чле­на группы уровень предпочтения риска оказывается значитель­но ниже среднего для группы, то это может вызвать у него бес­покойство и опасения по поводу того, как к этому отнесется группа.

Третий тип групповых экспертных оценок — закрытое об­суждение поставленных проблем — позволяет в значительной степени устранить указанные выше недостатки первого и вто­рого типов экспертных процедур.

Примером экспертных процедур третьего типа может слу­жить метод «Дельфи» (происходит от греческих дельфийских оракулов).

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров. Во время каждого тура эксперты со­общают свое мнение и дают оценку исследуемым явлениям. При

обработке информации, полученной от экспертов, все оценки располагают в порядке их убывания N_}, ..., N_m, затем определя­ют медиану (М) и квартили (Q_p Q₂), которые разбивают все оценки на четыре интервала, как показано на рис. 4.1.

Q, м Q₂

Рис. 4.1

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q_} — Q₂), просят обосновать свое мне­ние по поводу этих оценок. С их обоснованием и выводами, не указывая от кого они получены, знакомят остальных экс­пертов.

Подобная процедура позволяет специалистам изменять в слу­чае необходимости свою оценку, принимая в расчет обстоя­тельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, мень­ший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение к сближению точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Метод «Дельфи» наиболее целесообразен при количествен­ных оценках отдельных рисков и всего проекта в целом опре­делении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определен­ный интервал и т.п.

Учитывая условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии достоверности полученных оценок. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достовер­ности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оце­нок гарантируется.

обработке информации, полученной от экспертов, все оценки располагают в порядке их убывания N_}, ..., N_m, затем определя­ют медиану (М) и квартили (Q_p Q₂), которые разбивают все оценки на четыре интервала, как показано на рис. 4.1.

Q, м Q₂

Рис. 4.1

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q_} — Q₂), просят обосновать свое мне­ние по поводу этих оценок. С их обоснованием и выводами, не указывая от кого они получены, знакомят остальных экс­пертов.

Подобная процедура позволяет специалистам изменять в слу­чае необходимости свою оценку, принимая в расчет обстоя­тельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, мень­ший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение к сближению точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Метод «Дельфи» наиболее целесообразен при количествен­ных оценках отдельных рисков и всего проекта в целом опре­делении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определен­ный интервал и т.п.

Учитывая условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии достоверности полученных оценок. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достовер­ности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оце­нок гарантируется.

Однако это не всегда так, и можно привести примеры, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Как показала практика использования экспертных оценок, в подавляющем большинстве случаев при согласованности мне­ний экспертов их оценки оказывались правильными.

Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, обусловленной недостатком ин­формации об исследуемом объекте и недостаточной компетент­ностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспертизы, что обязательно скажется на их достоверности. На­личие такого рода погрешностей может значительно искажать оценки.

Устраняются указанные недостатки путем использования соответствующих методов и, в первую очередь, посредством правильной организации экспертной процедуры — от подбора экспертов до обработки их мнений.

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения слож­ных не формализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечи­вающая эффективность работы на каждом из этапов, и, во-вто­рых, применение количественных: методов как при организа­ции экспертизы, так и при оценке суждений экспертов на ос­нове формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обыч­ной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.

4.2. Общая схема экспертизы

Общая схема экспертных опросов включает следующие ос­новные этапы:

21. подбор экспертов и формирование экспертных групп;

22. формирование вопросов и составление анкет;

23. работу с экспертами;

24. формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

25. анализ и обработку экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдель­ных этапов экспертной процедуры, необходимо сделать следу­ющее замечание.

Проблема экспертных оценок имеет самостоятельное теоре­тическое и прикладное значение и выходит далеко за рамки проблем экономического риска. Для ее решения используются специальные экономико-математические методы и методы сис­темного анализа.

Здесь не стоит задача раскрытия сущности и содержания ис­пользуемых методов, поскольку они достаточно полно отраже­ны в обширной специальной литературе по проблеме. Поэтому представленная ниже краткая характеристика содержания от­дельных этапов носит ознакомительно-описательный характер.

Для более глубокого изучения проблемы можно порекомен­довать [7], где, на наш взгляд, наиболее полно описывается как содержание этапов, так и используемый для их реализации ап­парат.

Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экс­пертов и их индивидуальных качеств, т.е. определяются требова­ния к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на ос­нове следующих соображений.

Численность группы не должна быть малой, так как, в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, зато появляется опасность возникновения новых. Так, при очень большом числе экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. При­чем рост численности экспертной группы далеко не всегда при­водит к повышению достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифициро­ванных специалистов, что, в свою очередь, может привести к снижению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработки результатов опроса.

Существующие методы [7] позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру — численность экспертов требуемой специализации и квалифи­кации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов оценивать необъективно рассматриваемые события. Для этого желательно выявить возможные потенциаль­ные цели экспертов, противоречащие целям получения объек­тивных результатов.

Анализируя предшествующую деятельность экспертов, необ­ходимо выяснить наличие причин, которые приводят к стрем­лению завысить или занизить оценки так, чтобы повлиять на групповые результаты в желательном для себя либо для других лиц направлении.

Формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обязательных к выполне­нию всеми. Эти правила должны обеспечивать соблюдение ус­ловий, благоприятствующих формированию экспертами объек­тивного мнения. В число таких условий входят:

26. независимость формирования экспертами собственного мнения об оцениваемых событиях;

27. удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);

28. логическое соответствие вопросов структуре объекта оп­роса;

29. приемлемые затраты времени на ответы по вопросам ан­кеты, удобное время получения вопросов и выдачи ответов;

30. сохранение анонимности ответов для членов экспертной группы;

31. предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть раз­работаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами. В зависимости от характера исследуемо­го объекта, от степени его формализации и возможности при­влечения необходимых экспертов порядок работы с ними мо­жет быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и по­казатели, подлежащие экспертной оценке; уточнить формули­ровки вопросов и терминологию в анкетах; согласовать целесо­образность той или иной формы представления таблиц экспер­тных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояс­нительным письмом, в котором описывается цель работы, струк­тура и порядок построения таблиц с примерами. Если имеется возможность собрать экспертов вместе, то цели и задачи анке­тирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполне­ние анкет при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов. На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на осно­ве оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экс­пертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем, с помощью определенных приемов, эти оценки объеди­няются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления риско­вого события (р) и /-й эксперт указывает для этой вероятности число р. , то простейший способ получения обобщенной оцен­ки состоит в вычислении средней вероятности:

т

P ⁼ JjPi^/m’

/=1

где т — число экспертов, участвующих в экспертизе.

В методе «Дельфи» в качестве обобщенного мнения прини­мается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (отношение количества верных ответов к общему количе­ству), либо на основе других методов — самооценки эксперта с учетом своих знаний в области заданных вопросов, квалифика­ции, должности, ученого звания и т.д.

На второй стадии экспертам направляются анкеты с пояс­нительным письмом, в котором описывается цель работы, струк­тура и порядок построения таблиц с примерами. Если имеется возможность собрать экспертов вместе, то цели и задачи анке­тирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполне­ние анкет при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов. На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на осно­ве оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экс­пертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем, с помощью определенных приемов, эти оценки объеди­няются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления риско­вого события (р) и /-й эксперт указывает для этой вероятности число р. , то простейший способ получения обобщенной оцен­ки состоит в вычислении средней вероятности:

т

P ⁼ JjPi^/m’

/=1

где т — число экспертов, участвующих в экспертизе.

В методе «Дельфи» в качестве обобщенного мнения прини­мается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (отношение количества верных ответов к общему количе­ству), либо на основе других методов — самооценки эксперта с учетом своих знаний в области заданных вопросов, квалифика­ции, должности, ученого звания и т.д.

^ М + Mt +•••■ + РшК ₌ h₁ + h₂ + .... + h_m

(=1

где h. — вес, приписываемый z'-му эксперту.

Существуют различные приемы оценки компетентности эк­сперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспер­тного опроса.

В общем случае значения веса, приписываемого i-му экспер­ту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае : 0< h. < 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, извес­тная нам экспертиза определения индекса БЕРИ, а также мето­дика журнала «Еигошопеу» для оценки странового риска ис­пользуют шкалу от 0 до 100 баллов. Вместе с тем принципиаль­ной разницы в шкалах измерения нет, выбор какой-либо из них во многом определяется вкусом исследователя, проводящего экспертный опрос.

Принятая шкала измерения может в некоторой степени по­влиять на выбор методов анализа и обработки мнений экспер­тов.

Анализ и обработка экспертных оценок. При проведении ана­лиза собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты — варианты, показа­тели, факторы и т.п.), а также определить согласованность дей­ствий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного ана­лиза риски необходимо представить в порядке их важности (сте­пени возможного их влияния на уровень потерь), или варианты снижения риска — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффек­

тивного применения. Наиболее распространенными из них яв­ляются: ранжирование, непосредственная оценка, последова­тельное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности эксперт­ных оценок.

Как отмечалось, существующие способы определения дос-j товерности экспертных оценок основаны на предположении,! что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о ' степени согласованности мнений экспертов и, как следствие, о i достоверности их оценок. 1

Коэффициент конкордации определяется из выражения:

где: о²_ф — фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами; а²_тах ^— дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпада­ют.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от эк­спертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения W_h(W>W_h). Можно принять W_H = 0,5. Считается, что при W>0,5 действия экспертов в большей степени согласованны, чем не согласо­ванны.

Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качествен­ного анализа выявлены пять видов риска, которым может под­вергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

Результаты оценок этих рисков четырьмя экспертами пред­ставлены в табл. 4.1.

Таблица 4.1. Определение рангов важности рисков

Эксперты	Риски
	1	2	3	4	5
1	2	1	5	3	4
2	3	2	4	1	5
3	1	2	4	3	5
4	2	1	3	3	4
Суммарный ранг важности	8	6	16	11	19

При полностью согласованном мнении экспертов каждый из них первому виду риска дал два балла, второму — один, третье­му — четыре, четвертому — три, пятому — пять. В этом случае суммарный ранг важности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых п экспертами, составляет 1/2 ■ п (ш+1), и в рассматриваемом примере среднее значение составля­ет — 12.

Тогда:

а²_ф = (8-12)²+(6-12)²+(16~12)²+(11-12)²+(19-12)² =118;

о²™* ⁼ (8-12)²=(4-12)²+(16-12)²+(12-12)²+(20~12)² = 160;

1 1 о

W - = 0,7375.

160

Таким образом, мнения экспертов можно считать в доста­точной степени согласованными.

В общем случае коэффициент конкордации определяется из выражения:

- _ - ,

—п²т(т²-1) ~п²т(т²~ 1)

где: д — оценка, присваиваемая /-му объекту у-м экспертом; а. — суммарная оценка, полученная i-м объектом; т — количество оцениваемых объектов; п — количество экспертов.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась ре­зультатом случайных вариаций их мнений.

Сущность методов упорядочения, а также оценки согласо­ванности мнений экспертов и степени их достоверности доста­точно полно изложены в [7; 14]. Если в соответствии с приня­тыми критериями мнения экспертов можно считать согласован­ными, то данные ими оценки принимаются и используются в процессе подготовки и реализации управленческих решений. Если полученные оценки нельзя считать достоверными, следует по­вторить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав груп­пы экспертов.

Здесь следует отметить важную роль организаторов эксперти­зы, в задачи которых входят: постановка проблемы, определе­ние целей и задач экспертизы, ее границ и основных этапов; разработка процедур экспертизы, в наибольшей степени соот­ветствующей характеру решаемой проблемы; отбор экспертов, проверка их компетентности и формирование групп экспертов; проведение опроса и согласование оценок; формализация по­лученной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных по­средством экспертных оценок, в том числе достоверность этих оценок.