8.2 Требования, предъявляемые к экспертам

Экспертная оценка качества продукции - достаточно специфический вид деятельности, предъявляющий к эксперту определенные требования.

Совокупность этих требований условно принято разделить на четыре группы: информированность, заинтересованность в результатах экспертизы, деловитость и объективность.

Информированность эксперта должна распространяться на объект оценки качества (профессиональная информированность) и методологию оценки (квалиметрическая информированность).

Профессиональная информированность включает знание: истории развития оцениваемого объекта - изменение ее свойств и показателей качества; перспектив развития; требований потребителей.

Квалиметрическая информированность обеспечивает четкое понимание экспертом: подхода к оценке качества объекта; методов оценки качества, особенно экспертных; вопросов построения оценочных шкал.

Заинтересованность эксперта в результатах экспертизы зависит от ряда факторов: степени загруженности эксперта основной работой, с которой, как правило, совмещается экспертиза; возможности использования полученных результатов; целей экспертизы;- характера выводов, которые могут быть сделаны по результатам оценки качества; индивидуальных особенностей эксперта.

Деловитость эксперта - широкое понятие. Оно включает в себя: собранность, подвижное и эластичное внимание, которые позволяют быстро переключаться с оценки одного показателя на оценку другого; контактность - умение работать с людьми при решении задачи в конфликтной ситуации; нонконформиз - способность противостоять мнению большинства при уверенности в своей правоте.

Объективность эксперта можно рассматривать, как способность учитывать только ту информацию, которая определяет удовлетворение потребности данным объектом. Необъективность эксперта заключается в завышении или занижении оценок качества объекта по причинам, не имеющим отношения к качеству.

8.3 Порядок формирования экспертной комиссии. Оценка согласованности мнений экспертов

Экспертную комиссию формируют следующим образом: организатор и специалист составляют список экспертов, учитывая их служебное положение, стаж работы, профессию, характер работы и т.д.

В экспертную комиссию должны включаться высококвалифицированные специалисты по оцениваемому объекту.

Число экспертов, входящих в комиссию, зависит от требуемой точности средних оценок, трудоемкости оценочных процедур, возможностей управления комиссией, но в группе должно быть не менее 7-12 человек. При необходимости повышения точности оценок качества состав экспертной комиссии может быть увеличен до 15-20 человек.

Для организационного оформления деятельности экспертной комиссии издается приказ (или распоряжение). В нем указываются цели проводимой работы, состав экспертной комиссии и ее руководитель, сроки заполнения экспертами анкет, срок окончания работы.

После образования экспертной комиссии весьма полезно их предварительное специальное обучение и совершенно необходим инструктаж.

На завершающем этапе формирования экспертной комиссии целесообразно провести тестирование, с решением тестовых задач, тождественных реальным, самооценку, взаимооценку экспертов и проверку согласованности мнений экспертов.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования по критерию Р.А.Фишера проверяется равноточность отсчетов, даваемых экспертами, если нужно, измеряется рассеяние отсчета у каждого члена экспертной комиссии и устанавливается компетентность и профессиональная пригодность экспертов.

Самооценка состоит в том, что каждый из них в строго ограниченное время отвечает на вопросы специально составленной анкеты, в результате чего быстро и просто проверяет свои профессиональные знания и деловые качества.

Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки редко ошибаются.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого, разумеется, необходим опыт совместной работы. При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертной комиссии.

На заключительном этапе подготовки экспертной комиссии согласованность мнений экспертов, включенных в ее состав, определяется по общему для всей комиссии показателю качества - коэффициенту конкордации.

В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от единицы (при полном единодушии) до нуля (при отсутствии согласованности).

Если согласованность мнений экспертов выше средней, то можно перейти к оценке качества объекта. При согласованности мнений ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективные и объективные. Субъективные: недостаточная информиро­ванность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание поставленной задачи; арифметические ошибки экспертов и т.д. Объективные: приведенные показатели качества не однозначно сформулированы. Для выявления причины низкой согласованности экспертов проводится повторное определение коэффициентов весомости показателей качества с обсуждением и вновь определяется коэффициент конкордации. Если после повторной процедуры определения коэффициентов весомости степень согласованности мнений не улучшится, то можно применить один из следующих методов: обсуждение полученных значений коэффициентов весомости с обоснованием мнений экспертов; определение расхождения мнений отдельных экспертов (погрешности) от среднего арифметического и отстранение экспертов с большими расхождениями мнений от проведения экспертизы.