Проблема конструирования языковых тестов

В условиях повального увлечения тестами многие забывают о том, что создание теста – длительный, четко регламентируе­мый процесс, доступный хорошо подготовленным специали­стам. К сожалению, сам термин «тест» иногда употребляется слишком широко – как синоним понятий «контроль», «кон­трольные задания». Возможно, плохую службу здесь сослужил буквальный перевод англ. test ‘пробное задание, исследование, испытание’.

Всякий тест должен отвечать определенным требованиям. Существует ряд строгих технологических правил составления тестовых заданий, благодаря чему последние резко отличаются от традиционных контрольных упражнений.

Во-первых, эти задания должны быть содержательно ва­лидны, т.е. измерять уровень развития именно тех знаний, для измерения которых соответствующий тест предназначался. Ва­лидность выражается, в частности, в способности тестового контроля отличить более подготовленных учащихся от менее подготовленных. Если нас интересует именно степень владения языком, то тест не должен давать преимущество учащимся, например, с более развитым мышлением, воображением, памя­тью и т.п.; он не должен также давать преимущество учащимся определенного эмоционального склада (например, более ком­муникабельным, раскованным, уверенным в себе и т.п.).

Во-вторых, тест должен быть надежным, т.е. следует убе­диться в том, что получаемые в нем результаты не случайны (например, они воспроизводимы при повторном тестировании). Следует убедиться и в том, что учащийся получает примерно одну и ту же сумму баллов по результатам выполнения разных вариантов одного и того же теста или двух его равных частей.

В-третьих, тест должен быть достаточно практичным, т.е. требовать минимальных затрат времени на его проведение и позволять учителю оперативно применять его в классе в рамках обычного учебного процесса, не привлекая при этом дополни­тельные силы и специальное оборудование.

Не ставя себе целью подробно излагать теорию составления тестов, перечислим основные этапы построения языкового теста, чтобы убедить читателя в том, насколько непрост этот путь.

1 Формулировка цели. В нашем случае составители должны сформулировать, что они хотят от теста. Например, ста­вится задача измерить степень усвоения определенного грамма­тического материала, или степень владения лексикой, пройден­ной за год, или, для целей ЕГЭ – степень усвоения школьной программы.

2 Идеология теста. Здесь, прежде всего, имеется в виду выбор процедуры, определение продолжительности теста, ста­тистический аппарат, выбор вида количества заданий и т.д. Например, надо ли ограничиваться устной формой или сочетать ее с чтением текста и т.д. Самой распространенной формой яв­ляется задание с множественным выбором ответов (multiple choice), когда тестируемый имеет возможность выбрать пра­вильный ответ из нескольких предложенных вариантов. Од­нако не следует думать, что она является единственно воз­можной. Вот лишь некоторые другие варианты: перекрестный выбор (matching); альтернативный выбор (true / false); упорядо­чение (rearrangement); завершение (completion); замена / под­становка (substitution); трансформация или перефразирование; ответ на вопрос; перевод.

3 Определение знаний и умений, которые подле­жат проверке в тесте. Очень ответственный этап. Следует установить список конкретных языковых навыков и умений, которые, собственно, и составят в сумме представление о сте­пени владения языком. Сюда можно отнести способность гово­рения, включающую степень автоматизации произноситель­ных навыков; достаточное мастерство в построении граммати­ческих структур; точность и синонимическую вариативность способов выражения мысли и т.п. Сюда же может быть отне­сено умение читать и понимать достаточно сложный текст. Для целей ЕГЭ может оказаться существенным проверка конкрет­ных разделов школьной программы (например, знание опреде­ленного набора грамматических правил или лексико-тематиче­ских групп типа «Семья», «Экология», «Спорт»). Кто-то может еще посчитать важным умение переводить и т.д.

Одно время для оценки грамматических навыков ши­роко использовались тесты, требующие грамматического анализа. Такие задания, как «указать часть речи», «дать определение грамматическому термину», «при­вести примеры на данное грамматическое явление», применя­лись, возможно, из-за того, что их часто выполняли в классе. Однако эффективность таких заданий вызывает большие сомнения. Во-первых, способность анализировать язык и способность им пользо­ваться – две со­вершенно разные вещи. Большая часть тех, кто хорошо говорит на языке, не умеют его правильно или полностью анализиро­вать, а те, кто способен про­вести анализ, часто не способны хорошо изъясняться на нем. Во-вторых, в подобных заданиях проверяется не столько степень владения грамматическим явле­нием, сколько знание соответствующих терминов. Вообще чрез­мерное увлечение терминологией грамматистов значи­тельно усложняет процесс обучения учащихся и оценку их от­ветов. К счастью, сейчас грамматический анализ уже не имеет такого широкого применения

На этом же этапе полезно решить вопрос об относительной важности проверяемых умений, что, в свою очередь, поможет определить число заданий по каждому из них. При этом надо еще иметь в виду тот факт, что далеко не все виды речевой дея­тельности поддаются тестированию. Решения, принимаемые на данном этапе, должны быть плодом усилий опытных методи­стов, причем чаще всего они принимаются в ходе длительных обсуждений.

4 Составление (формулировка) тестовых заданий. Когда известно, в какой области и сколько заданий целесооб­разно включить в тест (предыдущий этап), можно приступить к созданию самих заданий.² Эта задача включает два одинаково важных шага.

1) Выбор аутентичных текстов (обычно берут оригинальные тексты для чтения или набор фраз для проверки грамматических знаний).

2) Конструирование набора возможных ответов, из которого испытуемый должен будет выбрать правильный. Существует ряд требований, предъявляемых к дистракторам (distractions, отвле­кающие варианты), без выполнения которых выбор верного от­вета станет слишком легким или, напротив, не допустимо труд­ным. Принципиально, чтобы количество заданий превышало необходимый объем, поскольку на последующих этапах некото­рые задания могут быть отброшены как неудачные.

Существует ряд типичных содержательно-методических и языковых ошибок, допускаемых при составлении заданий. При­ведем несколько примеров из реальных тестов, опубликованных в разных номерах журнала «Иностранные языки в школе».

1) Задание можно выполнить, опираясь но общую логику, а не на языковую компетенцию.

Примеры. а) В тексте излагается биография первой американ­ской женщины-врача. Затем дается группа фраз, которые надо расположить в порядке разворачивания текста. Среди них есть фраза Elizabeth was born in 1821. Совершенно оче­видно, что ее надо поставить на первое место: для этого до­статочно знать значения глагола to be born, понимание всего текста совсем не обязательно. b) После прослушивания тек­ста задается вопрос: «Что разрешается делать в автобусе?» и пред­лагается такой набор ответов: а) курить сигары; b) пить виски; с) ку­рить трубку; d) курить сигареты (верно послед­нее). В предложенном наборе «пить виски» явно выпадает из серии и вряд ли будет выбрано даже в случае полного непо­нимания прослушанного текста. Следовало сделать все 4 варианта со словом курить (четвертый вариант мог быть, скажем, курить папиросу). Если же противопоставлять «ку­рить» и «пить», то следовало дать по два варианта на каждое действие (например, добавить пить пиво). Кстати, варианты (а) и (с) выглядят настолько экзотическими, что опять-таки трудно ожидать, что ученики будут их выбирать даже в случае полного непо­нимания текста.

2) Задание сформулировано весьма расплывчато, а ответ неодно­значен.

Пример: «Окончание -th является признаком: 1) существи­тельного; 2) глагола 3) наречия; 4) числительного. Состави­тель теста имел в виду проверить знание правил образования порядковых числительных (sixth, tenth). Однако тестируемый может понять термин ‘окончание’ как «конечная часть слова» и, опираясь на примеры типа earth, tooth вполне обоснованно выберет в качестве верного ответа вариант (1).

3) Задание предполагает несколько правильных ответов, причем ученику не сообщается, сколько именно. Такого рода задание формулируется примерно так: «Отметь ответ(ы), который (ые) Вы считаете верным(и)». Подобный подход в корне про­тиворечит принятым в тестологии правилам.

4) Задания формулируются без учета того факта, что им надо будет приписывать какие-то баллы. Можно подумать, что задания придумывают одни люди, а баллы к ним приписы­вают другие, и первым совсем нет дела до вторых.

Пример: Ученикам предлагается расположить шесть фраз в порядке следования сюжетных событий. Решение предлага­ется оценивать по формуле 6 х 1= 6. Другими словами, под­разумевается, что ученик совершает шесть неких действий, и за каждое правильно выполненное действие получает один балл. Но «действие» у тестируемого только одно: он должен написать последовательность из 6 цифр (допустим, правиль­ная цепочка выглядит так: 3-4-1-6-2-5). Тогда возможны два исхода: верный (оценивается в 6 баллов) и любой другой (0 баллов). Такой подход противоречит самой сути тестирова­ния. Система баллов на то и существует, чтобы различать уровни знаний. Одно дело, например, последовательность уче­ника А (3-4-1-6-5-2, где перепутан порядок двух послед­них фраз, и совсем другое ученика Б: 3-6-2-1-5-4, который мало общего имеет с истинным.

5) Составители тестов сильно переоценивают собственную язы­ковую компетентность и не дают себе труда провести экс­пертизу своих языковых примеров. Достаточно сказать, что когда высококвалифицированного преподавателя англий­ского языка попросили проверить один из тестов, предлагав­шихся школьникам Центром тестирования, он нашел в одном из вариантов теста более 60 языковых ошибок! Ср.: a five years old child вместо a five-year-old child; the less number of students вместо the smaller number of students; to avoid rela­tions with вместо to avoid contacts with; she failed to hide her emotions вместо she concealed her emotions и т.п.

Отметим еще и тот факт, что задания нередко апеллируют к цифровой памяти, а вовсе не к способности пони­мать текст.

Конечно, ошибки, даже мелкие, не желательны в любом случае. Однако ошибка в тесте, который претендует к тому же на роль основы ЕГЭ, недопустима вдвойне, ибо она провоци­рует такие неприятные последствия, как апелляции тестируемых и их родителей. Урок для составителей тестов очевиден: необ­ходимо проверять и перепроверять используемые материалы с привлечением опытных редакторов и грамотных носителей языка.

Есть еще и чисто технические соображения. Приведем при­меры.

Неудачный вариант	Удачный вариант
Jane is . A a such fine girl C such fine a girl B such fine girl D such a fine girl	Jane is girl. A a such fine C such fine a B such fine D such a fine
В какой форме стоит глагол gone? 1. 2 3. это вообще не глагол 2. 3 4. 1	Назовите форму глагола gone. 1. вторая 3. четвертая 2. третья 4. первая
Описание логической структуры называется . 1. схема…	Описание логической струк­туры называется . 1. схемой…

Примечания. В первом примере следует избегать повторя­ющихся слов. Во втором примере явно выпадает вариант 3, это плохой дистрактор. Порядковые числительные лучше давать словами. Вообще здесь более уместно открытая форма заданий, без задания готовых вариантов ответа.

Существует и ряд других типичных ошибок: включение в состав вариантов для выбора выражений типа и то, и другое; любой; оба; апелляция к цифровой памяти, а не к способности пони­мать текст и т.д.

5 Предварительная проверка тестовых заданий. Сконструированные задания предъявляются большой группе испытуемых, в том числе эта­лонных (для тестов по иностран­ному языку – это те, для кого он родной или, по крайней мере, те, кто его хорошо знает – например, студенты языкового вуза). Наличие множества ответов по каждому заданию позволяет решить ряд важных задач. Прежде всего, опробуется и уточня­ется процедура: инструкция, время работы и т.п. Далее оцени­вается степень пригодности заданий. Устраняются те из них, которые оказались слишком легкими (их верно выполнили по­давляющее большинство участников) или, наоборот, слишком трудными (выполнены лишь отдельными испытуемыми). Оба типа заданий не дифференцируют учащихся и потому оказыва­ются мало полезными. И, наконец, выявляются возможные ошибки – орфографические и методические. Бывает, что в тест вкрадываются ошибки (ср. примеры выше). Еще одна важная функция этого этапа – определение шкалы тестовых баллов по каждому заданию. Однако этот шаг мы выделим в отдельный этап.

6 Присвоение тестовых баллов. Обычно набор ответов на тестовые задания содержит один пра­вильный и несколько неправильных вариантов ответа. В большинстве тестов правиль­ный ответ оценивается в один балл, а все неправильные полу­чают оценку «0». Эта система яв­но несовершенна. Во-первых, не все задания равны по трудности, а значит, неко­торые верные ответы должны быть оценены выше других. Во-вторых, невер­ные варианты также отнюдь не равнозначны, и тогда далеко не все равно, какой именно из неправильных вариантов выбира­ется испытуемым. Выбор наиболее нелепых ответов должен «наказываться» более весомо. Наконец, требует своего решения и проблема «случайной угадки». Мы поговорим об этих про­блемах более подробно в следующем разделе.

7 Принятие окончательного варианта. По результа­там предыдущих этапов тест принимает свой окончательный вид, включая формулировку заданий и сопутствующий аппарат (подробная инструкция, бланк анкеты, ключ, описание проце­дуры подсчета тестовых баллов, а также инструкция для прове­дения теста в аудитории).

8 Предъявление готового теста в широкой аудито­рии. Тест дается большому числу испытуемых (в иде­але это тысячи и десятки тысяч учащихся). Полученные резуль­таты используются для оценки валидности и надежности теста. Как мы уже говорили, надежность можно оценить, например, исходя из того, насколько совпадают показатели, полученные у одних и тех же испытуемых при повторном тестировании. Ва­лидность же можно проверить, определив, насколько хорошо дифференцирует тест лиц, которые заведомо хорошо (и заведомо плохо) владеют языком.

9 Стандартизация теста. При организации массового тестирования важнейшей проблемой, о которой очень часто за­бывают, является нормирование теста. Насколько «хороша» набранная тестируемым сумма баллов? Это можно сказать, только сравнив его результат с данными многих других испыту­емых, прошедших тот же тест. В теории тестов на этот счет вы­работан четкие методические приемы.

Прежде всего, необходимо определить границы «нормы», относительно которой итоговый тестовый балл испытуемого может быть признан в той или иной степени успеш­ным/неуспешным.

Сам термин «норма» уже указывает на нормальное, или среднее, выполнение заданий. Стандартизация осуществляется проведением теста на репрезентативной выборке испытуемых заданного уровня подготовки (например, учащихся 11 класса общеобразовательной школы). Относительно этой группы ис­пытуемых и вырабатываются нормы, указывается не только средний уровень выполнения, но и его относительная вариа­тивность выше и ниже среднего уровня. Благодаря этому можно оценить степень успешности/не успешности выступле­ния в тесте и определить положение индивида относительно нормативной выборки (именно так устроены тесты типа TOEFL). Известные нам отечественные тесты в своем большин­стве страдают именно отсутствием должной нормировки. Обычно вся шкала тестовых баллов совершенно произвольно делится на четыре категории, а учащимся соответственно вы­ставляется одна из четырех оценок – «5», «4», «3» или «2».

Более подробно мы поговорим об этом в следующем разделе.