12.2. Общая схема экспертизы

В общем случае из-за сложности оценивания систем привлекаются люди – специалисты в данной предметной области – эксперты. Решение задач оценивания называют экспертизой. Вопросы, связанные с экспертизой, рассматриваются и решаются консультантом. Он определяет Ω, а иногда и вспомогательное множество для экспертизы Ωэ и организует всю процедуру экспертизы.

1. Консультант находит множество допустимых оценок Ω, в которых содержится исходная оценка.

2. Он определяет множество допустимых оценок Ωэ, из которого осуществляют выбор эксперты.

3. Каждый эксперт выбирает свою оценку ai = Ci (Ωэ), i= 1, N . При этом эксперты могут взаимодействовать между собой.

4. По заранее разработанному алгоритму (формуле) консультант производит обработку полученной от экспертов информации и находит результирующую оценку, являющуюся решением исходной задачи оценивания.

5. Если полученное решение не устраивает консультанта, то он предоставляет экспертам дополнительную информацию, то есть организует обратную связь, после чего они вновь решают задачу оценивания.

12.3. Задача оценивания

Смысл оценивания состоит в сопоставлении альтернативе вектора из Е_m. Перечислим типичные варианты этой задачи:

1. Пусть X Ω – альтернатива в задаче принятия решений. Имеются m критериев. Требуется альтернативе X Ω сопоставить вектор

2. Пусть k₁, k₂, …, k_m – критерии, учитывающиеся при выборе. Их необходимо упорядочить по важности. Тогда системе S=(k₁, k₂, …, k_m) сопоставляется перестановке натуральных чисел от 1 до m, i₁,…i_m ,где i_k – номер k-ого критерия при упорядочивании по важности.

3. Пусть множество D разбито на l подмножеств D₁, D₂, …, D_l. Для элемента X D необходимо указать, к какому из подмножеств D_i (i = ) он относится. То есть х сопоставляется одно из чисел от 1 до l. Пусть х отрезок, длину которого надо измерить. То есть отрезку надо сопоставить действительное число; f(x) – длина отрезка.

Задача №1 – это общая задача многокритериальной оценки

Задача №2 – это задача ранжирования.

Задача №3 – это задача классификации.

Задача №4 – это обычная задача измерения.

Обозначим Ω – исходное множество допустимых значений оценок

(МДО).

Ω_э - МДО для экспертов;

L – взаимодействие между экспертами;

Q – обратная связь;

φ – обработка (отображение )

Назовем схемой экспертизы пятерку параметров (Ω,Ω_э,L,Q,φ).

Подготовка экспертизы – это предварительная разработка схем экспертизы и подбор экспертов.

Реализация экспертизы – получение от экспертов информации и ее обработка.

12.4. Подготовка экспертизы

Определение МДО (множества допустимых оценок).

Перечислим типы МДО и укажем определяющие их задачи оценивания.

1. Ω={0,1}. Соответствующая задача попарного сравнения заключается в выявлении лучшего из двух имеющихся объектов a и b:

(12.1)

2. Ω={(1,2,…,n)(1.3,…n)…(n, n-1,…1)}. То есть Ω состоит из множества перестановок длины n. Соответствующая задача ранжирования состоит в упорядочивании объектов:

C

(12.2)

(Ω)=(i₁,i₂,…,i_n)

3. Ω={1…l}. Соответствующая задача классификации

С(Ω) = i ,если X S_i.

Определение МДО для экспертов Ω_э.

Типы Ω_э те же, что и Ω. Но Ω_э зависит от формы опроса: интервью, анкетирование, метод докладной записки эксперта – высказывание мнения в свободной форме.

Взаимодействие экспертов:

1. Свободный обмен информацией между экспертами.

2. Обмен регламентирован.

3. Эксперты изолированы.

Пункт (2) может иметь вид «Мозговой атаки»: в течение заданного времени любое мнение не может быть отвергнуто и не подлежит обсуждению.

Обратная связь. После обработки можно ознакомить экспертов с результатами и попросить дать повторную оценку.

Известен метод Делфи. После экспертизы проверяется согласованность, а затем, если она недостаточная, экспертам сообщается дополнительная информация и аргументация других экспертов. Затем экспертиза повторяется.

Подбор экспертов. Существуют методы оценки компетентности экспертов. Эксперты могут выставлять свои оценки компетентности себе и другим. Затем эта информация обобщается и используется в алгоритмах оценки.