Экспертиза

В процессе неформального синтеза после выдвижения множества идей необходимо окончательно принять к реализации какую-то одну из них, поскольку исследовать до конца детально все идеи довольно сложно. Чтобы отобрать лучшую (лучшие) из них, проводят их экспертизу.

Для этого коллектив экспертов анализирует идеи, и каждый эксперт выставляет каждой идее свою собственную оценку. Условиями проведения экспертизы является коллектив экспертов и перечень оцениваемых идей. Результатом первого этапа экспертизы является матрица оценок. Далее с помощью определенного выбранного метода учитывают совместно все эти оценки и выбирают лучшую идею.

К экспертизе прибегают, когда необходимо сделать выбор из множества возможных идей, решений, проектов. Экспертиза — целесообразный отбор одного решения из множества возможных, полученных на предыдущем этапе «Генерация идей» (см. Неформальный синтез).

Существует много методов проведения экспертизы: голосование, ранжирование, попарное сравнение, разбиение на классы. Рассмотрим некоторые из них.

Голосование

Голосование можно применять только в том случае, если мнений, которые предложены к рассмотрению, меньше, чем собравшихся.

Примером, иллюстрирующим этот тезис, является решение профкома о выделении квартиры. Представитель каждого отдела предприятия, участвующий в заседании профкома, если он честен, должен голосовать только за своего представителя. Таким образом, никто и никогда не наберет большинство голосов. Задача попросту не решается. Или решается нечестными способами, например, сговором двух представителей, попеременно голосующих то за отдел А, то за отдел Б, и побеждающих всегда двумя голосами против остальных.

Простейший способ голосования — выбор большинством голосов. Он имеет свои достоинства (простота) и недостатки (решение принимается неквалифицированным большинством).

Данный способ можно существенно улучшить.

1. Голосование большинством 2/3. Для принятия решения требуется набрать 2/3 голосов. Такое правило применяется в особо ответственных случаях, повышая порог принятия решения. Но при этом метод часто приводит в тупик, так как необходимого количества голосов набрать какому-то одному из проектов достаточно трудно.

2. Голосование с правом вето. В этом случае любой эксперт имеет право заблокировать общее намечающееся решение одним своим голосом, если решение ему не выгодно или опасно. Это еще более жесткая процедура голосования. Способ применяется в сверхответственных ситуациях (например, принятие решений в ООН).

3. Талонное голосование. Голосовать можно только при наличии талона. Талонов меньше, чем голосований в течение оговоренного отрезка времени. Например, на 12 совещаний в год каждому эксперту выдается 8 талонов. Таким образом, если эксперт чувствует себя не вполне компетентным по какому-то вопросу, он не вмешивается в процесс голосования, сохраняя талон для более важного для него вопроса. Метод существенно улучшает процедуру голосования, заставляя ответственно оценивать не только проекты, но и себя.

4. Туровое голосование. В первом туре голосования отбирается как результат 2-3 проекта, которые набирают большинство голосов или проходят установленный порог. Во втором туре все эксперты голосуют снова, но только уже за эти 2-3 отобранных проекта. В качестве примера можно привести выборы президента в России или во Франции. Недостатком такого голосования является то, что эксперт во втором туре вынужден голосовать не за то решение, которое ему нравится, а за одно из тех, которые прошли во второй тур. Возникает иллюзия выбора.

5. Туровое голосование можно существенно улучшить, если дать возможность экспертам знакомиться с результатами голосования после каждого тура и не убирать проекты из матрицы от тура к туру. В результате такой процедуры эксперты, видя и оценивая общий результат, могут менять собственные предпочтения, исключая случайность и приходя к равновесному мнению. Этот метод получил название «метод Дельфы».

Пример турового голосования. Пусть имеется семеро кандидатов на получение премии: Дмитриев (Д), Иванов (И), Кузнецов (К), Лукьянов (Л), Михайлов (М), Петров (П), Сидоров (С). Премию могут получить лишь трое лучших. В первом туре каждый эксперт (в примере их пятеро) оценивает каждого из кандидатов и ставит его на то или иное место (см. табл. 36.1).

Таблица 36.1. Распределение мест проектов, данное коллективом экспертов (первый тур)

1 2 3 4 5 6 7 Эксперт 1 И П С Л К М Д Эксперт 2 Д И М Л К С П Эксперт 3 И М К Л С П Д Эксперт 4 Д С И Л П М К Эксперт 5 И К П Л С Д М

Далее подсчитываются очки. Трое экспертов присвоили Иванову первое место, один эксперт дал ему второе место и еще один — третье. Зная это, подсчитываем общее число очков для Иванова: 3 · 1 + 1 · 2 + 1 · 3 = 8. Таким же образом подсчитываются очки для всех остальных кандидатов. Результаты сводятся в таблицу (см. табл. 36.2).

Таблица 36.2. Итоги первого тура

Кандидат Очки Место Иванов 08 = 3 · 1 + 1 · 2 + 1 · 3 1 Лукьянов 20 = 5 · 4 2 Сидоров 21 = 1 · 2 + 1 · 3 + 2 · 5 + 1 · 6 3 Дмитриев 22 = 2 · 1 + 1 · 6 + 2 · 7 4 Кузнецов 22 = 1 · 2 + 1 · 3 + 2 · 5 + 1 · 7 4 Петров 23 = 1 · 2 + 1 · 3 + 1 · 5 + 1 · 6 + 1 · 7 5 Михайлов 24 = 1 · 2 + 1 · 3 + 2 · 6 + 1 · 7 6

Чем меньше очков у кандидата, тем более высокое у него место. Это непосредственно следует из принципа подсчета очков. Как видим, после первого тура призовые места достаются Иванову, Лукьянову и Сидорову.

После опубликования результатов выявляется и недостаток голосования, так как часть экспертов не удовлетворена результатами. Например, кандидат Лукьянов (см. табл. 36.1), которому никто из экспертов не давал ни одного из призовых мест, ибо никто не видел Лукьянова как достойного кандидата на премию, получил второе место, а вместе с ним и премию. Второй эксперт недоволен тем, что Сидоров вошел в тройку призеров. И если бы он голосовал снова, то он бы поменял Сидорова и Петрова местами, заставив опуститься Сидорова в общем рейтинге. Так как есть эксперты, заинтересованные в изменении результатов (путем перестановки проектов), то имеет смысл провести второй тур.

Посмотрим, что будет делать первый эксперт во втором туре: скорее всего, он поменяет местами Петрова и Иванова, переставит Сидорова на второе место, так как ему «наступают на пятки» конкуренты Дмитриев и Кузнецов, а Иванова, которому ничего не угрожает, поставит на третье место.

Так же, но по-своему, поступят другие эксперты. Поэтому результаты голосования от тура к туру будут меняться.

Например, после второго тура матрица оценок может выглядеть так (см. табл. 36.3).

Таблица 36.3. Распределение мест проектов, данное коллективом экспертов (второй тур)

1 2 3 4 5 6 7 Эксперт 1 П C И Л К М Д Эксперт 2 Д И М Л К П С Эксперт 3 И М К Л С П Д Эксперт 4 Д С И Л П М К Эксперт 5 И К П Л С Д М

Кроме таблицы результатов удобно вычислять таблицу неудовлетворенности экспертов. Например, подсчитывая сумму разностей по каждому эксперту между желательным распределением проектов по местам и общим результатом тура. Если эксперт действует логично, показатель неудовлетворенности от тура к туру, в принципе, должен уменьшаться. Хотя нулевым он станет вряд ли, так как неудовлетворенность одного эксперта уменьшается за счет увеличения неудовлетворенности другого. Поэтому процедура должна прийти к равновесному состоянию за счет действия всех экспертов одновременно, понижающих собственные показатели неудовлетворенности.

Туровая процедура продолжается до тех пор, пока ни один эксперт в одиночку не в силах будет изменить получившийся порядок (результат). То есть, притом, что какие-то эксперты могут остаться неудовлетворенными, изменить результат голосования они не смогут. Технически это означает, что результат в нескольких последовательных турах перестанет меняться. Его и принимают в качестве ответа.

Рассмотрим второй класс методов экспертизы.