Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

1. Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

2. Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Статистический анализ результатов

После получения ответов экспертов необходимо провести их оценку . Это позволяет:

1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты)

2. Оценить ошибку исследования

3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

Подготовка отчета с результатами экспертного оценивания В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Основные идеи методов экспертных оценок

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, менеджеры, экономисты, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

  Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

 Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

 Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

 Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

 Экспертные оценки часто используются при выборе, например:

 - одного варианта технического устройства для запуска в серию из нескольких образцов,

 - группы космонавтов из многих претендентов,

 - набора проектов научно-исследовательских работ для финансирования из массы заявок,

 - получателей экологических кредитов из многих желающих,

 - при выборе инвестиционных проектов для реализации среди представленных, и т.д.

 Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).

 Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики. 

Один из наиболее известных методов экспертных оценок - это метод "Дельфи". Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

  Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

 Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

 Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

 - построение исчерпывающего, но обозримого набора сценариев;

 - прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

 Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

  Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. 

 Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения. 

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

 Еще один вариант экспертного оценивания - мозговой штурм. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Основные стадии экспертного опроса. Более подробно рассмотрим отдельные этапы экспертного исследования. Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

 1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР. 

 2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.

 3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.

 4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего  конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%.

 5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования..

 6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

 7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

 8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

 9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

 10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

 11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

 Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.

Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.

 В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

 Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.

 Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. (Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ.)

 Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

 Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. 

 При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

 Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

 Необходимо подчеркнуть, что подбор экспертов – одна из основных функций Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

 Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде. 

О разработке регламента проведения сбора и анализа экспертных мнений. Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов. 

 В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.

 Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.

 Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

 Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)).

 Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).

 Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.

МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели (см., например, учебное пособие [1]).

 Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

 В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

ДОГМА ОДНОМЕРНОСТИ. В устаревшей, а иногда и в современной научно-технической литературе распространен довольно спорный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости". Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью многих и многих чисел, а также математических объектов нечисловой природы.

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

 расход бензина на 100 км пути (в среднем);

 надежность (в том числе средняя стоимость ремонта за год);

 экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;

 маневренность (в том числе радиус поворота);

 быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;

 длительность сохранения в салоне положительной температуры при низкой наружной температуре (например, минус пятьдесят градусов по Цельсию) и выключенном двигателе;

 дизайн (привлекательность и "модность" внешнего вида и отделки салона);

 вес, и т.д.

 Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.

 Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. 

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.

Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе. Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место.

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут беседовать, а лейтенанты - помалкивать. При этом вполне очевидно, что лейтенанты получили образование позже генералов, а потому обладают полезной информацией, которой нет у генералов.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов ГАК - государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК - с весом 1, мнения всех остальных - с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Понятие рефлексионного исследования.

Рефлекторная система.

Если система управления откликается на конкретное внешнее воздействие вполне определенным образом, то ее называют рефлекторной.

Допущение о рефлекторности реакций позволяет прогнозировать социальные последствия управляющих воздействий.

В области рефлекторного реагирования в большей мере применимы математические методы исследований. В области нерефлекторного реагирования наиболее применимы методы теории катастроф, методы психологии.

Понятие РЕФЛЕКСИОННОГО (РЕФЛЕКСИВНОГО) УПРАВЛЕНИЯ.

Исследование рефлексивных систем управления.

Понятие "рефлексивное управление" введено в теорию и практику более  лет назад, однако до сих пор единства в его понимании не достигнуто. Во многом это объясняется самим феноменом рефлексии, изучаемым различными научными дисциплинами, и получением соответствующих результатов, исходя из натуралистического методологического подхода, используемого многими их них. Феномен рефлексии объясняет отражение внешнего мира через внутренний мир человека с преобразованием в его мозгу образов, возникших в прошлом или настоящем. Человек — субъект реальности своего существования в определенном типе бытия. Эти типы бытия он реализует в субъективных мирах, например в жизнедеятельности (реализует собственные потребности), деятельности (реализует нормы, определенные сферой деятельности), социокультурном пространстве (выполняет нормы социума) и т. д. Рассматривая субъективные миры человека как онтологический тип реальности, можно заключить, что в плане воздействия на эти миры следует трансформировать индивидуальную концепцию бытия человека. Человек — это биосоциальная духовная система. Результаты многих исследований показывают, что одухотворенные (активные) системы принципиально отличаются от биологических. Одним из основных отличий является наличие у них рефлексивности. Под рефлексивностью понимают системный принцип, реализующийся через функции самоотражения и саморазвертывания системы. С использованием рефлексии человек может возвышаться над повседневностью и считать себя действующим в роли, функции другого человека или организации. Рефлексивность как системный принцип взаимосвязан с другими принципами, например генетического развития, ценности, материального воплощения и др. В психологии выделяют два способа существования человека как субъекта жизни : • реактивный (жизнь человека не выходит за пределы непосредственных связей с окружающими); • рефлексивный (сознание человека выходит из поглощенности процессом жизни, занимает позицию над ним). С учетом этих двух способов существования человека как субъекта жизни возможны два варианта перехода его в новую форму жизнедеятельности: схема развития и схема рефлексивного программирования ; . Вариант . Схема развития включает следующие процедуры: • фиксация разрыва ранее сложившейся жизнедеятельности — формирование состояния готовности к принятию новых форм жизнедеятельности. Человек сам приходит к осознанию необходимости соответствующей смены; • актуализация рефлексии как единственной возможности осознанного выбора новой формы жизнедеятельности и организации перехода к ней; • рефлексивная кооперация — поддержка человека, совершающего рефлексивный выход за пределы сложившейся жизнедеятельности. При использовании схемы развития человек является субъектом развития, происходит переход от реактивного способа жизнедеятельности к рефлексивному. Схема развития ориентирована на свободную развивающуюся личность. Вариант . Схема рефлексивного программирования состоит из таких процедур: • фиксация разрыва ранее сложившейся жизнедеятельности; • рефлексивная блокада — блокировка "несанкционированных" рефлексивных процессов, фактически лишение человека возможности самостоятельно выбирать форму жизнедеятельности; • социальная изоляция — блокировка "несанкционированных" информационных психологических воздействий социального окружения, лишение возможности выбора формы жизнедеятельности; • рефлексивное программирование — навязывание человеку заранее предопределенных кем-то представлений, точек зрения, позиций, мнений и других психологических образований с целью сформировать осознанное принятие предлагаемой нормы жизнедеятельности. При использовании схемы рефлексивного программирования человек превращается в объект управления, подчиняется реактивному способу жизнедеятельности. Смысл рефлексивного поведения заключается в осознании субъектом своих роли и места в социальной системе как активного члена общества. Существенным препятствием для реализации рефлексивного поведения является сложность понимания социальных, политических, экономических процессов вследствие их взаимозависимости и неоднозначности. Однако наибольшую сложность отражения реальности определяет информационное поле, создаваемое средствами информации. Человек формируется во взаимосвязи с другими людьми в социуме и "управляется" только информацией. В различных сферах социального взаимодействия используются разные методы скрытого для человека воздействия, принуждения к необходимому поведению и действиям. К ним относятся манипулирование, рефлексивное управление при использовании этих понятий как метода. При этом под рефлексивным управлением понимают навязывание управляемому определенной стратегии поведения за счет передачи ему логически выстраиваемых оснований, с учетом которых он логически формирует "свое" решение, предопределенное управляющим. Любые "обманные" движения (провокации и интриги, маскировки и розыгрыши, создание ложных объектов и вообще ложь в любом контексте) предопределяют реализацию рефлексивного управления . Таким образом, в понятии "рефлексивное управление" отражается общий подход к управлению человеком с использованием разнообразных приемов скрытого психологического принуждения его и применением рефлексии как ведущего системообразующего психологического механизма данного управленческого процесса. В основе рефлексивного управления — такая качественная характетика, свойственная только человеку, как рефлексивная самоорганизация. Человек осуществляет простые деятельностные функции либо в форме "норма — реализация", "задача — решение задачи" (реактивное управление), либо в форме "норма — реализация — затруднение в реализации — рефлексия — ситуационное включение корректирования нормы реализации измененной нормы" (рефлексивное управление) . Рефлексия "включается" у человека, когда он испытывает затруднения. При этом развитие человека осуществляется только в том случае, когда он, испытывая затруднения, предпринимает попытки их преодоления. В противном случае он не развивается. В связи с этим "секрет" хорошего преподавателя состоит не в том, что он так хорошо все излагает, что обучаемому не надо учить, а в дополнительной мотивации, побуждении учащегося к пониманию, казалось бы, усвоенных текстов. Однако следует различать рефлексивное управление и манипулирование (манипулятив-ное воздействие). При рефлексивном управлении используются различные средства и приемы для введения человека в заблуждение осознанно и целенаправленно. При манипулировании применяются приемы и средства скрытого психологического принуждения на неосознанном уровне. Примером манипуляции являются некоторые психологические игры, когда "включаются" механизмы внутрилич-ностной психологической защиты и происходит вытеснение истинной цели манипуляции.

 

Эффективность исследований систем управления

Эффективность – это отношение эффектов от исследований к затратам на это исследование. Эффект от исследования – это разность финансовых результатов от исследования и затрат на этот результат (по показателям).

Пример⁶. Управление Интернет-рекламой.

Исследованы причины эффективности рекламы в Интернете

Причины эффективности рекламы в Интернете очевидны: 

• Качество аудитории – в Интернете вдвое больше, чем в среднем по стране, людей с высшим образованием. 48% пользователей обладают высокой покупательной способностью, и еще 24% выше среднего уровня (по данным исследования Comcon-2 аудитории Рамблера). 

• Стоимость — затраты на проведение рекламной кампании в Интернете намного ниже, чем в традиционных СМИ. 

• Информативность — кликнув на ссылку или баннер, клиент может получить неограниченное количество информации, в отличие от традиционных способов рекламы, где рекламодатель ограничен временем эфира, форматом страницы и т.д.

• Разнообразие воздействия — можно использовать текст, графические изображения, анимацию, звук, видео. 

• Охват — в Интернете можно одновременно работать с миллионами потенциальных клиентов, благодаря возможности размещения рекламных материалов на крупнейших порталах.

• Эффективность анализа отдачи рекламной кампании — Интернет позволяет проводить рекламные кампании с возможностью полного контроля за их ходом. Без дополнительных временных и денежных затрат вы узнаете количество человек, увидевших Вашу рекламу и количество заинтересовавшихся клиентов. Причем подробный отчет Вы получите по каждой рекламной позиции в отдельности.

• Мобильность кампании — всю статистику вы получаете с первого дня рекламной кампании. Таким образом, вы осуществляете контроль за ходом рекламной кампании и всегда можете быстро осуществить замену баннера, текста или рекламной площадки в отличие от других СМИ.

• Удобство пользования — клиент может получить информацию о ценах, ассортименте и условиях вашей работы не вставая со стула!

Исследование социологической службы ROMIR Monitoring «Отношения интернет-пользователей к телевидению, новым технологиям и рекламе» (27.12.2006)

Краткие выводы исследования:

• 44% пользователей в России составляют люди в возрасте 25-34 лет, а 34% - молодежь в возрасте 15-24 лет.

• 42% аудитории интернета в России являются квалифицированными специалистами.

• Мужчин среди пользователей Сети больше, чем женщин: 67% против 33%.

• Самыми популярными видами интернет-активности является электронная почта и поиск информации онлайн.

• Две трети представителей интернет-аудитории заявили, что стали меньше смотреть телевизор с тех пор, как начали пользоваться Интернетом.

• Около 46% респондентов даже считают, что интернет-реклама более полезна, чем телевизионная реклама.

• Пользователей не раздражает наличие в интернете баннеров. Более того, они с интересом относятся к дизайну баннеров и другим технологическим новинкам, используемым в интернет-рекламе.

Мнение профессионалов об интернет-рекламе

• Генеральный директор рекламной компании ADVERT.RU Татьяна Коканович: Рост интереса к Интернет-рекламе вызван прежде всего приходом в сеть новых рекламодателей - крупнейших западных и российских компаний из самых различных отраслей: телекоммуникации, страховые и финансовые услуги, недвижимость, FMCG, авиакомпании и авиа перевозки и многие другие. Сегодня по оценкам экспертов, больше всего в рекламу в российском Интернете инвестируют автомобильные бренды, производители мобильных телефонов и телекоммуникационные компании, за ними следуют IT-компании, банки и страховые компании, FMCG. Кроме того, на сегодняшний день существенно увеличились бюджеты на онлайн-рекламу у компаний, занимающихся недвижимостью.

• Петер Петруски (Peter Petrusky), директор PricewaterhouseCoopers: «Интернет становится зрелым и эффективным средством рекламы, и это неразрывно связано с тем, что он поставляет рекламодателям наиболее ценную для них аудиторию».

• Исполнительный директор и президент IAB Рэндалл Ротенберг (Randall Rothenberg):  «Продолжающийся рост в секторе интернет-рекламы в основном является следствием того, что маркетологи осознают, что благодаря интерактивным медиа они могут эффективнее устанавливать взаимодействие с потребителями», - подчеркивает. По его словам, все большее число маркетологов полагают, что интернет-реклама может «вовлекать»

• Агентство Интернет-рекламы и маркетинга AdValue: Если ваши руководители не готовы к проведению рекламных кампаний в интернете и предлагают "подождать и посмотреть, что будет", нужно дать им понять, что они попусту теряют драгоценное время, не желая двигаться вперед. Причем перестроиться необходимо как можно быстрее, ведь конкуренты и потребители — уже в Сети. Большинство исследований утверждают, что компании тратят на рекламу в Сети все больше.

Эффективность исследований экон. систем управления⁷

СУ по своему предназначению направлены на обеспечение высокой эффективности, достижение целей и решение конкретных задач организации. По вопросам определения и оценки эффективности как исследования системного управления, так и производства известны различные методические подходы. При этом все они на первом этапе учитывали, в основном, только экономические последствия управленческих решений и их результатов. На таком подходе базировались практически все традиционные методики (их условно можно отнести к первому поколению).

Однако, начиная примерно с пятидесятых - шестидесятых годов, ученые и практики пришли к выводу о необходимости учета, помимо экономического эффекта, сначала социальных, а затем и экологических последствий. На устранение их воздействий в расчетах стали учитывать дополнительные затраты. При невозможности полностью ликвидировать последствия в расчеты закладывали затраты на их компенсацию. Именно этот подход суммирования всех затрат и компенсаций на социальные и экологические последствия был положен в модернизированные методики определения эффективности (второго поколения).

Попытки выразить различные виды экономической, социальной и экологической эффективности в универсальных единицах измерения (в данном случае в стоимостных) обусловили бесперспективность такого подхода. Это связано с игнорированием качественной противоречивости и неравнозначной приоритетности рассматриваемых сторон эффективности.

При определении эффективности системного управления следует учитывать, в первую очередь, общечеловеческие требования, направленные на обеспечение необходимой безопасности каждого потребителя, всего общества и экологического благополучия. Данные стороны результатов системного управления должны стать приоритетными по сравнению с экономической эффективностью. Вместе с тем в условиях рыночных отношений, при невозможности обеспечить преимущества перед конкурентами в части экономического эффекта (при бесспорном выполнении требований по безопасности, экологичности и социальной направленности), следует принимать более рациональные решения по управлению.

Таким образом определение эффективности исследований системного управления должно основываться на принципах и подходах, учитывающих приоритетные общечеловеческие ценности и адаптированные к условиям рыночных отношений. В соответствии с таким подходом эти принципы должны иметь следующее содержание.

Принцип приоритетности социальных и экологических эффектов означает, что при оценке эффективности исследований системного управления необходимо учитывать в первую очередь социальные и экологические эффекты с одновременной их проверкой по критериям безопасности и экологичности.

Принцип комплексного подхода, означающего необходимость учета при определении экономической эффективности всех возможных затрат при исследовании, создании и функционировании СУ, а также возникающие экономические результаты (последствия) создания и использования продукции и предоставляемых услуг (результатов деятельности организации) на всех стадиях жизненного цикла и уровнях управления. При этом необходимо учитывать все эффекты, получаемые не только на внутреннем рынке, но и внешнем. Таким образом расчет экономического эффекта в результате реализации исследований системного управления необходимо проводить относительно всей хозяйственной системы организации.

При этом надо иметь ввиду, что в рамках конкретной подсистемы, как правило, выполняется только определенная технологическая операция, составляющая всего лишь часть общей работы по удовлетворению определенной потребности. Эта потребность полностью удовлетворяется лишь в результате совместного действия ряда подсистем, т.е. в рамках всей системы. Кроме того надо иметь ввиду экономические эффекты, получаемые за счет решений по управлению во всех элементах а также в других взаимосвязанных с ними системах (например, выполнения плана поставок, охраны окружающей среды и др.). Реализация принципа комплексного подхода при определении экономического эффекта системного управления и научно-обоснованных направлений улучшения деятельности требует рассмотрения всего состава подсистем СУ организации в целом.

Принцип обеспечения минимального воздействия неполноты и недостоверности имеющейся информации, означающего снижение до возможного минимума отрицательного ее влияния на принимаемые решения и результаты деятельности хозяйственной системы.

Принцип сопоставимости результатов, означающих необходимость обеспечения сравнимости достигаемых социальных, экологических и экономических эффектов за счет функционирования СУ по следующим признакам:

• социальным последствиям;

• экологическим последствиям;

• объемам удовлетворения потребностей разработчиков и изготовителей (продавцов) продукции;

• объемам и диапазонам (взаимозаменяемости) удовлетворения потребностей потребителей продукции;

• признаваемости и авторитетности сертификатов на СУ и ее подсистемы (в частности, на систему УК) и продукцию;

• временному фактору, приводя разновременные эффекты к условиям их соизмеримости и ценности к определенному времени (с учетом инфляции и т.п.);

• неопределенности и рисков, связанных с достижением эффектов.

К основным источникам получения позитивных результатов функционирования СУ в сфере производства следует относить:

• увеличение объемов продаж изготавливаемой продукции и предоставляемых услуг;

• снижение себестоимости продукции и услуг;

• более точное выполнение поставок продукции в срок;

• сокращение сроков разработки и постановки новой продукции на производство;

• увеличение объемов производства продукции и услуг, соответствующих требованиям потребителей.

Кроме этого могут быть получены другие положительные результаты, в том числе за счет мероприятий по улучшению функционирования систем УК, обеспечивающих:

- снижение производственных затрат на исправление дефектов изготавливаемой продукции (аналогично и в сфере разработки и проектирования)

Э = З1 - З2,

где З1, З2 - затраты на устранение дефектов соответственно до внедрения системы и после;

- уменьшение потерь от окончательного брака готовой продукции

Э = (А*В)(Ц - У)/100

где А - объем продукции, натуральные единицы измерения;

В - уменьшение брака, %;

Ц - цена единицы продукции, руб.;

У - стоимость единицы продукции по цене утилизации, руб.;

- снижение стоимости контроля продукции

Э = С1 - С2;

- снижение трудоемкости производственных процессов

Э = А*(Т1*Н1 - Т2*Н2),

где Т - норма времени на единицу производства продукции, час;

Н - часовая тарифная ставка, руб.;

- предотвращение поступления в производственный процесс недоброкачественного сырья и материалов

Э = Абр*А*Ц*К/Апост

где Абр - объем забракованного сырья и материалов за расчетный период, руб.;

Апост - поступивший объем сырья и материалов за расчетный период, руб.;

К - коэффициент, учитывающий потери на одно изделие при поступлении недоброкачественного сырья и материалов;

- уменьшение затрат на устранение дефектов по рекламациям (претензиям) потребителей

Э = З1 - З2;

- уменьшение суммы штрафов за поставку недоброкачественной продукции и выплат по рекламациям

Э = Ш1 - Ш2;

- уменьшение расходов на гарантийное обслуживание и ремонт

Э = С1 - С2;

- уменьшение ущерба за нарушение контрактов

Э = У1 - У2;

- повышение прибыли за счет улучшения ассортимента изготовленной продукции

Э = П2 - П1,

где П - прибыль, получаемая за счет ассортимента.

- повышение прибыли за счет продажи потребителям продукции повышенного качества (при неизменности себестоимости)

Э = А (Ц2 - Ц1).

По оценкам западных экспертов все средства, направленные на улучшение функционирования СУ и, в частности систем УК, позволяют получить эффект в соотношении (по разным оценкам) примерно 1 к 3,5-20. В связи с этим и с учетом вышеизложенных принципов затраты на обеспечение исследований системного управления следует рассматривать как инвестиции, что позволяет использовать те же показатели для расчета, что и при оценке эффективности инвестиционных проектов.