3.2. Надежность непараметрических моделей экспертных оценок

Бесспорно совершенно,

что для принятия обоснованных решений

необходимо опираться на опыт,

знания и интуицию специалистов.

Орлов А.И⁵².

Как было отмечено выше, методы экспертных оценок при привлечении специалистов к решению сложных задач порой незаменимы. Они позволяют анализировать проблемы, требующие анализа множества взаимозависимых факторов, построения прогноза развития, выбора из нескольких альтернатив.

Часто возникает недоверие к данным, полученным в ходе экспертных опросов. Однако использование современных методов прикладной статистики и учет нечисловой природы данных позволяет сильно приблизиться к достоверному и надежному результату.

Представляется целесообразным кратко осветить некоторые проблемы непараметрической теории экспертных оценок (применительно к данной работе) для того, чтобы подойти к выводу о надежности таких данных.

В целом можно отметить, что на сегодня пока не разработана научно обоснованная классификация методов экспертных оценок и рекомендаций по их использованию. Но накоплен серьезный теоретический и практический опыт, существенный вклад в который вносили такие проекты, как работа комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика» (1970-1990 гг.) и другие⁵³.

Итак, прежде всего, необходимо помнить о цели экспертного опроса: сбор информации для лица, принимающего решения (ЛПР), или подготовка проекта решения для ЛПР. От этого зависит решение проблемы согласованности экспертных мнений: если во втором случае желательно его достичь, то в первом случае можно не стремиться к выработке или поиску согласованного мнения. Ведь важно отразить палитру мнений относительно проблемы.

В случае, когда требуется сформировать консенсусное мнение, во-первых, не стоит идти на поводу у формальных требований: обнаружение групп (кластеров) мнений означает, что единого взгляда на проблему нет. Во-вторых, наличие сильно выбивающихся суждений из общей массы также должно навести на мысль о существовании оригинального мнения (если вопрос о некомпетентности не рассматривается).

Наконец, проверка согласованности зависит от математической природы самих оценок. И в данном случае парные сравнения являются предпочтительными. Эксперту легче сравнивать в каждую итерацию два объекта, а не манипулировать большим их количеством. И с математической точки зрения теория парных сравнений (люсианов) предоставляет более богатую трактовку, чем статистика ранжировок и разбиений. Указанная теория проверяет не гипотезу равномерного распределения, а гипотезу однородности – совпадение распределений суждений экспертов между собой, что и интерпретируется как согласованность мнений.

Это продуктивнее и ближе к терминам теории вероятностей, чем проверка согласованности при помощи коэффициента конкордации Кендалла-Смита. В последнем случае в качестве нулевой гипотезы выступает предположение о независимости разбиений и равномерном их распределении на множестве всех разбиений. И в случае принятия, и в случае отклонения гипотезы согласованность мнений нельзя подтвердить.

В рамках теории люсианов технический поиск общего мнения может проводиться различными способами. Это, например, вычисление «медианы Кемени»⁵⁴ или простое геометрическое среднее, если в дальнейшем используется идея собственного вектора матрицы парных сравнений.