4. Опросы студентов и преподавателей, мониторинг общественного мнения

Любая инновация должна быть так или иначе поддержана боль-шинством сотрудников коллектива. В противном случае коллектив

147

найдет возможность в явном или неявном виде отказаться от вне-дрения инновации, т.е. так трансформировать логику проведения и использования формализованных процедур, что они лишатся своего смысла. Поэтому при разработке и внедрении новой технологии оценивания качества подготовки студентов мы постарались по воз-можности отслеживать динамику отношения к нашей инновации со стороны студентов и преподавателей. Для этого проводились опросы как в режиме онлайн (на портале факультета психологии), так и в ходе очных встреч и собраний (на ряде заседаний Ученого совета факуль-тета, а также, например, на расширенном профессорском собрании в марте 2008 г.).

Из полученной нами статистики ответов на проведенные опросы среди студентов и преподавателей в динамике в течение трех лет сле-дует, что в 2007 г. студенты значительно более скептически относились

• тестированию в ходе экзамена, чем преподаватели, которые в целом гораздо более явным большинством поддержали инновацию. Но в 2008—2009 гг. прослеживается положительная динамика в установках студентов. С чем это связано и как это объяснить? Ведь каждый год опрашивались новые выпускники, которым приходилось каждый раз впервые проходить подобную процедуру (на уровне госэкзамена). Одно из объяснений можно свести к достаточно банальному эффек-ту привыкания. Общественное мнение в студенческой среде тоже инерционно. Доверие к тому, что за низкие баллы по тестам никто не пострадает, возникло не сразу. Но постепенно год от года, по мере того как тест стал приносить скорее позитивные сдвиги в итоговых оценках студентов, отношение стало более позитивным. И что даже важнее: отношение стало меньше зависеть от самооценки успеш-ности собственного выполнения тестового испытания. Например, студенты 2009 г. оценили в целом свою успешность явно ниже, чем студенты 2007 г., но при этом выразили более позитивное отношение

• процедуре тестирования.

Многочисленный выбор преподавателями в 2009 г. ответа «не участвовал в приемке экзаменов» вызван был тем, что именно в 2009 г. круг экзаменаторов впервые (за последние десятилетия) был строго ограничен исключительно профессорским составом, а получить от профессорского состава ответы на онлайн-опрос оказалось делом более трудным. Ответы преподавателей в 2008 г. иллюстрируют явный импульс со стороны коллектива в пользу не только формального учета результатов тестирования в итоговой оценке, но и прямого знакомства экзаменаторов с результатами тестирования непосредственно в ходе экзамена. Именно в результате такого мнения коллектива, высказан-ного на профессорском собрании в марте 2008 г., в 2009 г. было решено вернуться к практике открытого информирования экзаменаторов о результатах тестирования.

148

5. Общие выводы и перспективы

По характеру распределения тестовых баллов (близкому к нормаль-ному распределению), по результатам проверки надежности и валид-ности тестовых испытаний можно сделать однозначный вывод, что мы получили достойный инструмент для педагогических измерений качества образования, который и может, и должен быть использован для итоговой аттестации как необходимый этап в системе различных испытаний.

Есть, конечно, «горячие головы», которые предложили таким образом проинтерпретировать высокую корреляцию между тестом и суммарным баллом за все годы обучения (значение, близкое к 0.9): а не является ли это свидетельством того, что тест вообще не нужен, ведь он фактически дублирует ту информацию, которая собрана за все годы. Но именно тестовое испытание способно на самом последнем этапе выявить те важные 10—15% исключений, когда очень слабые ответы студента на самые очевидные вопросы позволяют усомниться в том, насколько корректными были многие оценки, полученные этим сту-дентом в течение 5 лет. Итоговая аттестация для того и предназначена, чтобы не только мотивировать учащихся на сохранение знаний, которые должны быть предъявлены в определенный контрольный момент (а не учиться по принципу «сдал — забыл»), но и осуществлять контроль доброкачественности выполнения своих профессиональных обязанно-стей всем педагогическим коллективом образовательного учреждения. Кстати, высокая корреляция между результатами теста и суммой баллов за все годы позволяет «страховать» и тестовые технологии от каких-то «чудовищных ошибок» (вызванных, например, неожиданным провалом сильного студента в результате волнения, плохого самочувствие и т.п.) Все случаи резкого расхождения суммарного балла диплома и результа-тов тестирования должны рассматриваться государственной комиссией индивидуально и быть предметом особого внимания.

Таким образом, наш опыт параллельного применения двух про-цедур — традиционного устного экзамена и компьютеризированного тестового испытания — по многим параметрам выявил однозначное превосходство тестового испытания. Но на основании этого результата мы не собираемся настаивать на замене устной процедуры. Наоборот, параллельное использование двух процедур дает возможность исполь-зовать тестовые данные как основание для совершенствования устных экзаменов с целью преодоления тех недостатков, которые им давно свойственны и в целом хорошо известны (включая весьма либеральное отношение экзаменационных комиссий к тому, что некоторые студенты отвечают на вопросы билетов, не отрывая глаз от своих записей, которые при проверке оказываются удивительно однотипными).

В свою очередь само тестирование вовсе нельзя считать завер-шенной и безупречной процедурой, не нуждающейся в улучшении

149

и обогащении новыми элементами и идеями. Для более надежного моделирования профиля успешности по отдельным темам требуется расширение банка заданий (примерно до 1000 заданий) и удлинение сеанса тестирования до 90 заданий (к примеру, в западных сертифи-кационных тестовых экзаменах психологи выполняют до 300 заданий в течение одного сеанса, продолжающего до 4 часов). Также имеется необходимость моделирования так называемых кейс-тестов, предна-значенных для диагностики навыков практического применения знаний при решении прикладных задач.

Приложение 1

Инструкция авторам тестовых заданий

«Вам предлагается принять участие в одном из направлений, активно реали-зуемом в настоящее время на факультете психологии МГУ им. М.В. Ломоносова в рамках инновационного гранта по модернизации образования, — разработка банка тестовых заданий по курсу общей психологии для предэкзаменационного тестирования выпускников. Одним из наиболее существенных требований к инновационным программам является требование к автору (ответственному преподавателю) курса спланировать определенную систему контроля знаний и успеваемости, отвечающую современным требованиям.

При разработке тестовых заданий вам необходимо ориентироваться на Федеральный компонент государственного стандарта высшего образования и программу курса «Общей психологии» для госэкзамена факультета психологии МГУ им. М.В. Ломоносова. При разработке содержания и формы проверочных заданий необходимо учитывать особенности курса психологии и требования к его усвоению, соотнесенные с целями обучения.

При составлении своего блока заданий мы предлагаем вам руководство-ваться следующими рекомендациями:

1. Разработка заданий ведется по 6 разделам курса общей психологии:

• введение в общую психологию и история психологии,

• психология ощущения и восприятия,

• психология внимания и памяти,

• психология мышления и речи,

• психология мотивации и эмоций,

• психология личности и индивидуальных различий.

2. Минимальная численность набора заданий, который должен предо-ставить один автор, — 24 (по 4 на каждый раздел). В случае трудности охвата каких-то разделов допустимо создание до 8 заданий по одному из разделов (тематических блоков), но крайне желательно охватить не менее 4 разделов.

3. На данном этапе работ требуются задания ТОЛЬКО закрытого типа с выбором одного ответа из четырех возможных.

4. Форма представления заданий. Для удобства и оперативности обработки Ваших материалов рекомендуем использовать текстовые редакторы (например, MS Word или Блокнот). Задания следует оформлять следующим образом: номер вопроса (со значком номера перед цифровой информацией!), на следующей строке текст вопроса, затем на каждой строке варианты ответа, так что каждый

150

ответ должен обозначаться символом «тире» в начале каждой строки, тогда как правильный — символом * в начале строки. Пример оформления вопроса при-водится ниже (номер вопроса п/п, перечень ответов, обозначение правильного ответа):

№ 1 Текст вопроса

— ответ 1

— ответ 2

— ответ 3 * ответ 4

5. Ссылки на литературные источники и авторство. При формулировании

вопроса и вариантов ответа не должно возникать неоднозначных ситуаций, порождающих различные трактовки в зависимости от выбранной концепции. Например, должна быть прописана явная отсылка к источнику: не теория внимания вообще, а теория внимания в работах Рибо (всегда как минимум отсылка к автору, а можно и к книге автора). В противном случае почти всегда найдется автор другой «классической книги», который думал по-другому. Так обстоит реально дело в психологии — еще не вполне стандартизованной си-стеме знаний.

6. Типология вопросов. При разработке заданий проще всего использовать классификацию вопросов с помощью естественных их обозначений, основан-ных на вопросительных местоимениях естественного языка: Что? Кто? Где? Когда? Как? Сколько? Зачем? Почему? Куда? и т.п., включая менее очевидные сложные вопросы: Как называется? В каком порядке? Чем отличается? Как создается?

Таким образом, следует создавать задания, которые сравнительно равно-мерно будут представлять примерно 12 типов, полученных путем комбинаторики двух оснований классификации заданий:

По трудности:

Трудные — менее 40% правильных ответов Средние — от 40% до 70% Легкие — более 70%

По логико-семантическому (методологическому) статусу: А) Фактологические (Кто? Что? Где? Когда?)

В) Терминологические (Как называется?)

С) Логико-теоретические (Как объяснить? Как предсказать?) D) Методические (Как воспроизвести, проверить, сделать?)

6. При формулировании вариантов ответа следует избегать возможности применения тактик угадывания правильного ответа, которые являются артефак-тами самих формулировок ответов. Такие ответы обычно имеют существенные

(явные) отличия от остальных вариантов (дистракторов):

• самый длинный ответ;

• содержит «самые умные» слова;

• содержит термины, встречающиеся в самом вопросе;

• нечто среднее между явно абсурдными крайностями;

• имеет подсказку из содержания другого вопроса;

• нечто развернутое на фоне сверхкратких формальных дистракторов.

151

Одним из вариантов борьбы с тактиками случайного угадывания правиль-ного ответа может послужить создание дистракторов, запутывающих студентов, прибегающих к угадыванию. Такие дистракторы могут:

• содержать ключевые слова (на уровне словесной рифмы с условием вопроса);

• содержать пафосные суждения;

• содержать длинный перечень логических условий, при котором выпол-няется основное суждение;

8. На последнем этапе работы Ваши задания будут проходить экспертизу со стороны других авторов, которая будет проходить с использованием как минимум 4 вопросов:

— проверка правильности ответа;

— оценка трудности задания;

— оценка качества задания и вариантов ответа;

— тематическая отнесенность к соответствующему разделу курса общей психологи.

Приложение 2

Образец легких тестовых вопросов с «удивительными» ошибками

(звездочкой отмечены проценты выбора правильных ответов)

		% студентов, вы-
№	Текст вопроса и вариантов ответа	бравших каждый из
		вариантов ответа
1	Сознание в интроспективной психологии определялось
	как:
	функция деятельности	4
	высшая форма отражения мира	15
	совокупность явлений, данных в переживании только	83*
	субъекту
	не подлежащая изучению реальность	0
2	К свойствам аффектов НЕ относится:
	накопление	6
	навязчивость	12
	торможение сознательного контроля	3
	когнитивная сложность	82*
3	Эффект, полученный в экспериментальном исследова-
	нии Б.В. Зейгарник, заключается в том, что:
	люди проявляют более сильную тенденцию к спонтанно-
	му воспоминанию о тех действиях, которые им удалось	5
	завершить
	люди проявляют более сильную тенденцию к спонтан-
	ному воспоминанию о тех действиях, которые привели к	5
	хорошему результату
	люди проявляют более сильную тенденцию к спонтан-
	ному воспоминанию о тех действиях, которые им не	86*
	удалось завершить
	люди имеют тенденцию запоминать все, что они делают	0

152

СПИСОК ЛИТЕРАТУРЫ

Аванесов В.С. Научные основы тестового контроля знаний. М., 1994. Аванесов В.С. Композиция тестовых заданий: Учебная книга для преподавателей

вузов, учителей школ, аспирантов и студентов педвузов. М., 1996.

Болотов В.А., Шаулин В.Н., Шмелев А.Г. Единый экзамен и качество образова-ния // Единый государственный экзамен: научные основы, методология и практика организации эксперимента / Под ред. В.А. Болотова. М., 2002. С. 9—32.

Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста // Высшее образование сегодня. 2005. № 4. С. 16—21.

Клайн П. Справочное руководство по конструированию тестов. Киев, 1994. Майоров А.Н. Теория и практика создания тестов для системы образования.

М., 2001.

Челышкова М.Б., Шмелев А.Г. Шкалирование результатов Единого экзамена: проблемы и перспективы // Вопр. образования. 2004. № 0. С. 168—186.

Чумаков А.А. Методика конструирования тестов профессиональных достиже-ний с использованием интернет-технологий: Автореф. дис. … канд. психол. наук. М., 2007.

Шмелев А.Г. Компьютерное тестирование знаний у студентов-психологов // Вестн. Моск. ун-та. Сер. 14. Психология. 2003. № 1. С. 35—48.

Шмелев А.Г., Ларионов А.Г., Серебряков А.Г. Телетестинг — инновационная аттестационная технология // Тезисы конф. «Развивающаяся психология — основа гуманизации образования» (Москва, 19—21 марта 1998 г.). Т. 2. С. 126—127.

Поступила в редакцию 09.12.10