10. Методы экспертной деятельности. Критерии экспертизы. Процедура проведения экспертизы. Форма и порядок представления результатов экспертизы.

В науке определенная система способов и приемов, с помощью которой осуществляется процесс познания, именуется методом. Следовательно, метод есть инструмент, способствующий прогрессу в на­учном познании. Сформированность научных методов является пока­зателем уровня развития той или иной научной дисциплины.

Метод - это совокупность способов и приемов развития научного знания. Методы исследования должны быть уже определены на этапе подготовки к. экспертной деятельности. Цель науки и заключается в том, чтобы при помощи доступных, точных, современных и надежных методов объяснить явления, их сущность, важность, причинные связи и т. п.

Методы современной науки столь же разнообразны, как и сама наука, и в каждой научной дисциплине они имеют свою специфику. Вмес­те с тем, существуют общие классификации методов. Их делят, напри­мер, на эмпирические и теоретические, индуктивные и дедуктивные, количественные и качественные и т. д.

Также отдельными авторами предлагается следующая классификация групп методов, используемых в исследовательской и экспертной деятельности: методы наблюдения; методы опроса; эксперимен­тальные методы; специальные методы, обусловленное конкрет­ными условиями экспертной деятельности.

Методы индивидуальных экспертных оценок включают оценки типа интервью и аналитические экспертные оценки. Методы коллективной экспертной оценки включают метод комиссий, метод отне­сенной оценки, метод Дельфи и др.

Работа эксперта, как теоретического, так и практического характера, не ограничивается использованием одного метода, а предполагает применение целой системы методов.

Для решения наиболее сложных проблем, особенно в условиях неопределенности, которые возникают в условиях дефицита информации или неустойчивости развития - используются методы, основан­ные на опыте и интуиции. Для достоверности и надежности эксперт­ных оценок необходимо следовать методическим основам использо­вания экспертных методов, не обманываясь их кажущейся простотой.

Наблюдая различные организационные явления, эксперт накапливает данные, которые позволяют ему делать какие-либо обобщения, создавая свою собственную модель происходящего. Единственное от­личие в наблюдениях ученого эксперта от наблюдений любого другого человека состоит в том, что они носят систематический и плановый характер, определяемый исследовательской экспертной стратегией. Он собирает данные, которые адекватны исследуемому объекту, реп­резентативны и точны в той мере, в которой позволяют имеющиеся измерительные инструменты. Для изучения инноваций в образовании используются разнообразные методы сбора данных. Наиболее востребуемые из них: наблюдение, анализ документов, опрос (интервьюиро­вание, анкетиропание, социометрический опрос).

Наблюдение. Любое эмпирическое исследование, в том числе и экспертиза инноваций, должно начинаться с наблюдения и анализа документов, имеющихся по изучаемой проблеме. Хронологически наблю­дение является первым методом, применяемым многими отраслями науки, в том числе и экспертной деятельностью. Под наблюдением понимают непосредственное целенаправленное восприятие и регист­рацию явлений и процессов.

Анализ документов. Как уже отмечалось, экспертизу инновационной деятельности необходимо начинать с наблюдения и анализа доку­ментов, имеющихся по изучаемой проблеме. Под документами пони­маются специально созданные носители информации об организации и ее членах. Документ (от лат. documentum - свидетельство) — матери­альный носитель записи с зафиксированной на нем информацией, предназначенной для ее передачи во времени и пространстве (Сов. энцикл. словарь. - М: Сов. энцикл., 1984).

Опрос. Одним из самых распространенных в исследовании являет­ся метод опроса. Опрос предполагает получение ответов на задавае­мые экспертом вопросы. Особенность этого метода состоит в том, что источником информации выступает словесное сообщение, сужде­ние опрашиваемого. Опрос позволяет получить информацию о ценно­стных ориентациях, мнениях и оценках членов организации, мотивах их поведения, организационном климате и т. д.

Аналитические экспертные оценки (в отличие от оценок типа интервью) предполагают длительную работу эксперта, направленную на ана­лиз тенденций и оценку будущего состояния и путей развития проекти­руемого объекта. Так, составление заключения, посвященного анализу тенденций и оценке путей развития и будущего состояния прогнозируе­мого объекта, предполагает наличие у эксперта склонности к основательной проработке и длительному обдумыванию поставленных перед ним вопросов. При использовании этого метода в распоряжение экс­перта должны быть предоставлены разнообразные и достаточно досто­верные сведения, имеющие отношение к рассматриваемым вопросам.

Применение морфологического метода ставит эксперта перед необходимостью выбора между направлениями развития, основанными на привычных, устоявшихся сочетаниях элементов, и такими направ­лениями, которые предполагают использование самых невообразимых, парадоксальных сочетаний. Здесь от эксперта требуется склонность как к глубокому анализу сущности рассматриваемых явлений, так и к смелым интуитивным заключениям о перспективности часто неожи­данных путей будущего развития,

Весьма типично в этом плане использование метода комиссии, когда группа экспертов систематически собирается для проведения дис­куссии за «круглым столом» с целью выработки общей позиции по воп­росу путей будущего развития некоторых объектов. При использова­нии данного метода имеет место взаимное влияние мнений экспер­тов, которое при соблюдении ряда условий может способствовать со­зданию творческой атмосферы и непрерывному генерированию идей.

3.9. Критерии экспертизы

Критерии - зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий - признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное - это определить, имеет ли он право на существование, насколько он соотносит­ся с ситуациями будущего, имеется ли в наличии прогноз с пошаговы­ми действиями, в которых будет осуществляться инновационный про­ект, или может ли он быть представлен. Другим критерием инноваци­онной деятельности является ее реализуемость (ресурсное обеспе­чение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каж­дого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в про­екте гуманистического мировоззрения, или же в представлении в нем раз­нообразной образовательной среды либо в его демократичности. Прорабо­танность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных пу­тей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации - подлежит ли она распространению на федеральном, регио­нальном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распростране­нию, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

• общие критерии, позволяющие оценить значимость предлагаемого проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

• специальные критерии, позволяющие оценить компетентность автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

• частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериев инновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсо­лютно нового, неизвестного до настоящего времени продукта или в совер­шенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность иннова­ционного проекта - какого уровня и какой значимости предполагаемый про­ект. Будет ли проект носить локальный характер, осуществляться на мест­ном уровне и иметь, соответственно, ценность на этом уровне, или инно­вационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект - фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улуч­шение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев. Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, опи­сание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурс­ным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согла­сованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходи­мо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, органи­зационные, профессиональные, финансовые, материально-техниче­ские и т. д.).

И, конечно, группой критериев, необходимых для экспертной оцен­ки инновационного проекта являются частные критерии. К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Дру­гим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованно­сти действий других субъектов образовательной ситуации с дей­ствиями автора проекта при его реализации. Еще одной характерис­тикой и частным критерием в экспертизе инновационных проектов выступает инструментальность (управляемость) проекта, то есть на­личие организационных форм, способов и плана действий по его реализации.