4.2. Общие принципы отбора содержания аттестационных тестов

Общие принципы отбора содержания аттестационных тестов способствуют обеспечению высокой содержательной валидности их результатов. Первый принцип - репрезентативнос­ти - регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста. Полнота достигается представительным отображением в содержании теста совокупностей компетенций, заложенных в ФГОС. Пропорции должны быть адекватны той иерархии кластеров, которая представлена в компетентностной модели подготовки специалиста (бакалавра или магистра) и распределении трудоемкости дисциплин и их разделов, заложенной в учебных планах и программах.

Второй принцип – значимости - предписывает включать в тест наиболее существенные элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест. Этот же принцип, трактуемый по отношению к компетенциям, также предполагает обращение к компетентностной модели подготовки специалиста, в которой установлена иерархия компетенций.

Третий принцип – системности - предполагает подбор заданий, содержание которых свя­зано между собой определенной иерархией и общей структурой знаний. В условиях компетентностного подхода системность означает отражение в аттестационном тесте иерархии кластеров компетентностной модели подготовки специалиста. Таким образом, становится ясным ответ на вопрос, который нередко возникает у преподавателей при разработке основной образовательной программы – к чему структурировать компетенции и связывать кластеры структурно-описательной моделью, отражающей приоритеты в подготовке бакалавра или магистра? Ответ достаточно прозрачен – компетентностная модель должна лежать в центре внимания при обучении и контроле результатов обучения.

4. 3. Экспертиза качества содержания аттестационных тестов оценочных рубрик

Оценка качества содержания теста должна проводиться по оп­ределенной методике независимыми экспертами, не участво­вавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. Не менее важно провести экспертизу оценочных рубрик к заданиям, которые в рамках компетентностного подхода нередко имеют форму с развернутым ответом. При экспертизе заданий и рубрик следует опираться на описания признаков проявления компетенций. Поэтому в работе по экспертизе большое значение приобретают паспорта компетенций.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраиваются сооб­разно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со специфика­цией рецензируемого теста, содержащей пояснения по его структуре и планируемым к проверке компетенциям, а также с описаниями признаков проявления компетенций в паспортах и с компетентностной моделью подготовки специалиста, в соответствии с которой создается тест. Затем каждый эксперт выполняет все задания теста, представляя себя на месте испытуемого.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста и рубрик к ним в том случае, когда они представлены в форме, требующей развернутого ответа. При работе по первому направлению вначале эксперт сопоставляет правильные ответы, полученные им при выполнении теста, с ключом ответов для заданий с выбором ответа, предоставленных авторами, и анализирует оценочные рубрики к заданиям со свободно конструируемым ответом. В процессе выполнения заданий возможны случаи появления неоднозначности, ког­да на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы. Особенно сложно достичь однозначности в заданиях с конструируемым ответом. Обычно ее повышению способствует уточнение инструкции к заданиям с развернутым ответом, детализация которой позволяет ввести дополнительные ограничения на выполнение задания и обеспечить получение желаемого ответа. В связи с этим, тщательной экспертизе следует подвергнуть инструкции к заданиям с конструируемым развернутым ответом.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который, в определенной степени, является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разде­лить их на три группы: базовые, повышенной трудности и наиболее трудные. Большая детализация при делении заданий по трудности вряд ли уместна, поскольку доля ошибки в оценках эксперта нередко доходит до 50-70%.

Эксперт оценивает уровень значимос­ти содержания каждого задания теста и ожидаемое время его выполнения обучающимися со средним уровнем подготовленности, ориентируясь на свое знание контингента обучающихся, для которых предназначен тест. Он выявляет логически некорректные задания, где помимо правильного возникают частично правиль­ные ответы. Особенно важно в процессе экспертизы заданий субтеста выявить случаи отсутствия четких логически завершенных формулировок заданий. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Тенденции к многозначности характерны для компетентностных заданий, где нередко к одному заданию стараются поставить 5 и более вопросов.

Здесь трудно вводить какие-либо ограничения, поскольку, возможно, число вопросов диктуется признаками проявления компетенции, заложенными в ее паспорте. Однако даже в этих условиях автор должен стремиться к минимизации числа вопросов к каждому заданию, в противном случае будет неоправданно увеличена сложность применения и понимания оценочных рубрик к заданию на фоне снижения их обоснованности и роста субъективного компонента при проверке выполнения заданий обучающимся. В конечном счете, тенденция к неоправданному увеличению числа вопросов к каждому заданию приведет к резкому снижению надежности теста.

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста. Отметить, в случае необходимости, лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепри­нятой в учебном предмете терминологии и символики предмета. Введение многочисленных контекстных факторов и дополнительных условий характерно для кейс-измерителей, где возможно получение нескольких решений, правильных, соперничающих не по степени истинности, а по уровню оптимальности для выбранных обучающимся факторов влияния и условий существования предлагаемых им решений. Подобная ситуация недопустима для заданий теста, даже в том случае, если оно носит явно выраженный компетентностный характер и требует конструирования развернутого ответа. Правильный оптимальный ответ к тестовому заданию должен быть единственным, в том числе в тех случаях, когда от обучающегося по инструкции к заданию требуется выбрать или получить наиболее правильный ответ.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропор­ций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать за­дания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Соображения по поводу структуры теста и расположения в нем субтестов, если они есть. Возможна оценка оптимальности стратегии расположения заданий либо соотношения заданий, проверяющих знания и умения и компетенции. Желательно выявить задания, предназначенные для проверки системы понятий, а также задания междисциплинарного характера, предназначенные для проверки надпредметных умений, поскольку эти задания всегда вызывают проблемы при оценке числа измеряемых ими переменных и нуждаются в дополнительном углубленном анализе со стороны автора теста.

Экспертиза качества содержания теста и оценочных рубрик, несомненно, довольно субъективна, несмотря на все усилия руководителей экспертиз получить независимые суждения как можно большего числа экспертов и устраивать их встречи по обсуждению своих позиций. Поэтому экспертиза является только первым шагом в работе по совершенствованию содержания аттестационного теста. Однако этот первый шаг необходим, поскольку опыт многочисленных служб тестирования в образовании говорит о том, что статистические оценка качества содержания теста, полученные в результате обработки данных его апробации, всегда показывают лучшие характеристики, если предварительно прошла экспертиза качества содержания теста.

В целом, экспертиза качества содержания аттестационного теста существенно способствует повышению его содержательной и конструктной валидности. В связи с этим, ей придают большое значение в работе служб тестирования в образовании и тратят значительные средства на обучение экспертов. Лучше всего, когда эксперты хорошо знают контингент обучающихся, для которых предназначается тест. Поэтому экспертов нередко выбирают из числа преподавателей, не принимавших участие в работе над тестом.