Заключение

Исходя из общей — "разработка новых методик проведения аттестации научно-педагогических работников и конкурса на замещение должностей научно-педагогических работников с целью значительного повышения качества основной деятельности" (Приложение Г) — и частной — "разработка новой двухфакторной многокритериальной методики проведения аттестации научно-педагогических работников и конкурса на замещение должностей научно-педагогических работников с целью значительного повышения качества основной деятельности" (Приложение Д) — направленностей НИР был сделан вывод о множественности аттестационных процедур, многокритериальности, многофакторности и многочисленности методик, которые требуется разработать. Предлагается ограничиться тремя факторами, которые характеризуют три категории деятельности: педагогическую, научную и "все другие". Потребность в многочисленности методик вполне оправдана, с одной стороны, тем, что объект измерений — деятельность научно-педагогических кадров (профессорско-преподавательского состава и научных работников) — является сложной и сложноорганизованной динамически изменяющейся нетехнической системой, а с другой стороны, тем, что потребители результатов измерений весьма разнообразны, могут быть как внутренними, так и внешними по отношению к СПбГУ, и испытывать необходимость в оценке самых разных аспектов деятельности университета, в том числе, и тех, которые характеризуют научно-педагогическую деятельность. При этом, с изменением «внешней среды» может весьма подвижно меняться и потребность в оценках указанных аспектов.

Уже при выполнении данной поисковой НИР по основополагающим документам и неформальным интервью можно выделить четыре класса методик проведения аттестации, которые требуется разработать:

• для конкурса на замещение должностей профессорско-преподавательского состава (научно-педагогических работников),

• для использования во время промежуточной аттестации (и последующего ранжирования научно-педагогических работников по набранному рейтингу),

• для использования при подготовке и принятии решений о поощрении сотрудников по результатам их деятельности,

• для оценки наличного и перспективного кадрового потенциала.

Однако, этими четырьмя классами методик потребность не ограничена.

Во-первых, сами разработанные методики могут быстро устаревать из-за изменений «внешней среды» и, как следствие, политики университета в соответствующих сферах.

Во-вторых, указанные методики, совпадая в целом, могут в деталях варьироваться

• по должностям научно-педагогических работников (профессорско-преподавательского состава),

• по факультетам,

• по кафедрам.

В-третьих, может возникнуть потребность в формировании методик, не входящих ни в один из перечисленных классов.

Если научно-педагогические работники будут отчитываться всякий раз по разным методикам, готовя новые и новые наборы данных (и, соответственно, справок/отчетов в печатном или электронном виде) для вычисления рейтингов, факторов, индикативных показателей, индексов и проч., и, при этом, число этих методик станет возрастать, то такая ситуация приведет к колоссальному объему совершенно непроизводительных трудозатрат.

Указанная проблема может быть решена за счет общепринятых стандартных приемов: разделения исходных данных (базовых рейтинговых показателей) и процедур их обработки (метрик), предназначенных для формирования/вычисления итоговых рейтинговых показателей, а также автоматизации как внесения, хранения, накопления/пополнения, модернизации и обработки исходных данных, так и вычисления соответствующих метрик.

При этом достаточно просто формируются требования к относительно стабильным и относительно динамическим составляющим методик проведения аттестации.

Стабильная составляющая: все то, что вносится научно-педагогическим работником, должно вноситься и верифицироваться однократно. При этом очень важно изначально определить такой набор данных — систему базовых рейтинговых показателей — который после некоторого кратковременного переходного периода оставался бы неизменным в течение 10–15 лет (и, по возможности, более).

Хотя при первичном наполнении в УНИ СПбГУ базы данных единой автоматизированной информационной системы мониторинга результатов профессиональной деятельности научно-педагогических работников потребуется выполнить большой объем работ (не только научно-педагогическим работникам, но и системным аналитикам, программистам, экспертам, административным работникам и другим категориям сотрудников), в последующие периоды потребуется вносить уже существенно меньшие объемы данных.

При этом желательно обеспечить постоянный доступ к внесению новых данных и мотивировать сотрудников актуализировать информацию в базе данных сразу после наступления соответствующих событий — в этом случае администрация университета будет пользоваться возможностью оперативного мониторинга одной из важнейших составляющих деятельности университета. В частности, при правильной организации процесса, станет возможным не только автоматизация проведения аттестации научно-педагогических работников, но и мониторинг степени достижения индикативных показателей, зафиксированных в «Программе развития федерального государственного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет» до 2020 года» (принята 7 октября 2010 г.)».

Динамическая (вариативная) составляющая: формирование метрик, обеспечивающих вычисление факторов (индикативных показателей, рейтингов и др.), характеризующих научный, педагогический и, возможно, другие аспекты деятельности научно-педагогических работников (профессорско-преподавательского состава) будет выполняться независимо от указанных работников, персоналом, поддерживающим функционирование и развитие автоматизированной информационной системы УНИ СПбГУ. При этом, как предполагается, можно достаточно быстро сформировать новую метрику, которая вычисляется на основе накопленных показателей.

Более того, подход, разделяющий «стабильные» данные и «динамически» пополняющийся набор метрик — а значит, и набор факторов (индикативных показателей) — позволит анализировать тренды, имеющиеся в деятельности научно-педагогического персонала университета, избегая сложностей, которые возникают сейчас, когда меняется методика расчета статистических показателей, что делает невозможным или существенно усложняет сравнение одного и того же показателя, но вычисленного в разное время.

Ключевой проблемой для предложенного подхода по разделению на стабильную и динамическую составляющую методик проведения аттестации становится формирование достаточно полной стабильной составляющей, то есть, достаточно полного набора базовых рейтинговых показателей. Существенная часть такого набора представлена в приложении А настоящего отчета. Однако для завершения формирования такого набора требуются действия и решения, находящиеся за пределами компетенции исследовательского коллектива.

Во-первых, по результатам анализа методик проведения аттестации и рейтинговых систем в других вузах установлено, что наряду с аттестацией научно-педагогических работников проводится «аттестация» (формируются рейтинги) факультетов и кафедр. Причем методики проведения аттестации неразрывно связаны с аттестацией подразделений университета: факультетов и кафедр. С одной стороны, сотрудник делают вклад в деятельность соответствующих подразделений, поэтому перечень вносимых показателей должен быть достаточен для аттестации факультетов и кафедр. С другой стороны, из-за разнообразия областей деятельности в базовые рейтинговые показатели научно-педагогического работника должны входить факультетская и кафедральная «составляющие». Наконец, чтобы вклад этих составляющих был бы сбалансированным, он должен нормироваться исходя из соответствующего вклада факультетов и кафедр в общие показатели университета.

Таким образом, для завершения формирования перечня базовых рейтинговых показателей требуется ряд административных решений по методикам аттестации (расчета рейтингов) факультетов и кафедр, формирование собственно таких методик для факультетов и кафедр, и итеративная процедура обсуждения систем базовых рейтинговых показателей и взаимосвязи этих систем среди администрации университета, факультетов и кафедр, а также профессорско-преподавательского состава.

Во-вторых, даже когда будут сформированы полные перечни базовых рейтинговых показателей, потребуется обсуждение метрик, с помощью которых будут вычисляться факторы (индикативные показатели), оценивающие научную и педагогическую составляющие деятельности научно-педагогических работников. Хотя коллектив исследователей предложит свои весовые коэффициенты для формирования соответствующих метрик, основанных на процедурах свертки с весами исходных базовых рейтинговых показателей, представляется более рациональным привлечение более широкого круга экспертов для выработки окончательных решений. Заметим, что для обработки мнений экспертов с целью формирования весовых коэффициентов для процедур свертки предполагается воспользоваться подходом проф. Н.В. Хованова к анализу и синтезу показателей при информационном дефиците и подходом проф. Ю.А. Сушкова к анализу иерархий.

В-третьих, когда после нескольких итераций по результатам широкого обсуждения будут сформированы наборы базовых рейтинговых показателей и метрик для вычисления факторов (индикативных показателей) для оценки деятельности научно-педагогических работников (профессорско-преподавательского состава), потребуется гармонизация полученных результатов с политикой университета, руководящими документами и «Программой развития федерального государственного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет» до 2020 года».

После того, как будет выработан общий набор всех показателей, следует прописать методику изменений каждого показателя, процедуру утверждения каждого значения и процедуру разрешения споров. Ожидавшиеся по результатам НИР рекомендации по составлению методики приведены в Приложении И, а рекомендации по проведению конкурса на замещение вакантной должности — в Приложении К.

На основе публичного обсуждения (Приложения Н, П, Р) и проведенного опроса студентов (Приложение У) можно сделать вывод, что оценки, данные студентами, можно вносить в аттестационную документацию, однако не имеет смысла использовать их в качестве базовых рейтинговых показателей «Методики …». Студенты, особенно студенты младших курсов, не способны объективно оценить качество преподавания. Данные ими негативные оценки, тем не менее, могут сигнализировать о проблемах в преподнесении преподавателем материала, однако их рассмотрение не может быть приведено к единой шкале и требует индивидуального рассмотрения в каждом конкретном случае.

В пилотном исследовании в качестве временной замены методик проведения аттестации, базирующихся на полном наборе базовых рейтинговых показателей и наборе согласованных метрик, коллектив исследователей использовал методику проведения экспресс-аттестации (см. приложение Ж и Т), развитую, как и планировалось в техническом задании, на основе ПРНД, использующегося в учреждениях РАН.

Согласно техническому заданию для оценки качества и результативности преподавания учебных дисциплин, а также профессионального мастерства преподавателей разработана анкета для опроса студентов (приложение Б и С).

Перечень базовых рейтинговых показателей, приведенный в приложении А, полностью соответствует утвержденному приказом Минобрнауки положению [23].

Предлагаемые этапы дальнейшей работы, опирающиеся на результаты настоящей НИР

1. После утверждения методики аттестации необходимо провести внесение результатов отдельным подразделением университета, либо факультетом, либо кафедрой факультета. После внесения результатов всеми сотрудниками подразделения возможно выявление ранее не учтенных показателей, по которым можно сравнивать работников, а также показателей, которые позволят учитывать направления деятельности либо отдельные виды деятельности сотрудников, которые не учитывались ранее.

2. После получения результатов по кафедре/факультету необходимо произвести экспертную оценку результатов руководителями данного подразделения, с детальной проработкой полученных результатов: их общей адекватности, тому, насколько они позволяют выявить результативность сотрудников и тому, насколько они поддаются измерению.

3. Необходимо опросить работников подразделения относительно того, насколько показатели каждого, с его точки зрения, соответствуют полученным. Если обнаружится сильное несоответствие, то необходимо комплексно его исследовать для выявления скрытых причин такого несоответствия — с большой вероятностью оно будет объясняться важными, но неучтенными в системе базовых рейтинговых показателей видов работ.

4. Необходимо определить целесообразность составления краткого перечня требований, отражающих наиболее важные показатели и их значения для каждой должности научно-педагогических работников.

ПРИЛОЖЕНИЕ А