Вариант присвоения тестовых баллов
|
Доля правильных ответов, в % |
|||||||
менее 10 |
10-19 |
20-39 |
40-49 |
50-64 |
65-80 |
81-90 |
более 90 |
|
Балл |
* |
7 |
6 |
5 |
4 |
3 |
2 |
* |
Звездочкой помечены неудачные задания (слишком легкие или слишком трудные); они подлежит замене. Установленный по этой шкале балл и приписывается всем правильным ответам.
Перейдем к процедуре определения тестовых баллов для ошибочных ответов. Во-первых, оценки неверных ответов должны быть «соизмеримы» с оценкой правильного ответа на данное задание. Если правильный ответ имеет балл 7, то неправильный может быть оценен, скажем, 2 или 3 балла, но если правильный ответ получил оценку 2 балла, то для сохранения «дистанции» неправильные ответы должны получать отрицательные баллы. Какой должна быть дистанция между правильным и самым лучшим из неправильных ответов решить объективно трудно. Мы предложили считать эту дистанцию, равной трем-четырем баллам.
Во-вторых, решающим фактором является ранжирование ответов по степени серьезности ошибки (чем более «ошибочен» вариант ответа, тем меньше его балл). Указанное ранжирование задается на входе (1-ый ранг – правильный ответ; 2-ой ранг – «ответ чуть хуже верного», 3-ий ранг – «еще хуже», 4-ый ранг – «самый неудачный ответ»).
После соответствующих подстановок каждый неверный вариант ответа получает свой оценочный балл. Вместе с баллами для верных ответов система приписанных баллов принимает вид традиционного «проверочного ключа» – таблицы тестовых баллов, с помощью которой можно оценить работу испытуемого.
Приведем проверочный ключ для рассматриваемого примера.
Задание |
Варианты ответа |
Именно в таком виде и представлены ключи ко всем заданиям. Что касается вычисления индивидуального итогового балла, то подробная инструкция на этот счет дается в приложении к тесту. |
|||
A |
B |
C |
D |
||
1 |
1 |
-1 |
4 |
-2 |
|
2 |
0 |
4 |
-1 |
-2 |
|
3 |
2 |
-1 |
6 |
-2 |
|
4 |
-2 |
-1 |
-3 |
3 |
|
Этапы 7-8 (окончательный вариант теста и его реальное применение в широкой аудитории).
Окончательный вариант текстов и заданий к ним, инструкции и ключи к заданиям приводятся в упомянутой выше книге [Василевич 2005].
Определяя состав тестируемых, необходимо было, в частности, предусмотреть возможность оценить валидность заданий. Именно поэтому были привлечены группы испытуемых, которые представляли три заведомо разных уровня знаний: старшеклассники обычной средней школы (условно можно считать, что эта группа представляла низший уровень знаний); продвинутые ученики (учащиеся спецшкол или дети, интенсивно занимающиеся с частными преподавателями) и студенты языкового вуза. В случае хорошей валидности теста, его результаты должны четко дифференцировать эти три группы испытуемых. Кроме того, для контроля был проведен эксперимент по случайной угадке правильного ответа (большая группа ребят выбирала ответ, не знакомясь с текстом, наугад). К настоящему времени тест был опробован на аудитории, включающей более 200 учащихся. Этого, конечно, явно не достаточно, чтобы в полной мере оценить валидность и надежность создаваемого теста. Однако предварительные данные говорят о безусловной дифференциации выделенных групп – это сильный аргумент в пользу валидности теста.
Этап 9 (стандартизация теста).
О стандартизации имеет смысл говорить применительно к конкретной группе тестируемых, в том числе учитывая те результаты, которые были получены путем случайной угадки.
Для человека, который организует тест, очень важно различать две разных ситуации. Одно дело, когда тестируемый обладает недостаточным знанием, которое позволяет ему правильно выполнить, например, лишь треть заданий. И совсем другое дело, когда он вообще ничего не знает и отвечает наугад (имея хорошие шансы в результате набрать ту же треть верных ответов). Противники тестирования часто ссылаются на то, что при выборе ответа из множества заданных вариантов, испытуемый может указать на правильное решение чисто случайно. В самом деле, при наличии выбора ответов на задание и при относительно низкой степени владения языком у тестируемого появляется естественное желание попытаться «угадать» правильный ответ. Скажем прямо: при наличии всего трех-четырех вариантов шанс «попасть в точку» довольно велик и встает проблема случайного угадывания правильного ответа. Именно поэтому «не в моде» альтернативные вопросы, где выбор ответа ограничивается двумя возможностями (здесь шанс угадать катастрофически высок).
Данная проблема хорошо известна в теории вероятностей. Тесты, обеспеченные соответствующим математическим аппаратом обработки данных, обычно снабжаются «поправочными коэффициентами», которые основаны на чисто математических процедурах. Обычно эти процедуры связаны с механизмом порождения случайных чисел. Однако в реальной ситуации случайного выбора испытуемый вряд ли прибегает к помощи случайных чисел. Волей-неволей он выбирает некоторую стратегию, причем, возможно, арсенал этих стратегий ограничен, и тогда появляется шанс совпадения стратегии у разных испытуемых. Чтобы исследовать этот возможно существующий феномен стратегии, в ходе предварительного тестирования группе школьников был предложен «тест без текста». Другими словами, их просили заполнять бланки ответов в отсутствие самих заданий, произвольно вписывая варианты (А, В, С или D) в клетки бланка. В результате было собрано множество заполненных бланков, в чистом виде иллюстрирующих стратегию выполнения тестовых заданий наугад.
Моделирование ситуации случайного выбора в реальном тесте может существенно помочь при определении шкалы тестовых баллов и, в особенности, при решении проблемы стандартизации теста. Результаты эксперимента были учтены при осуществлении стандартизации теста.
Как мы уже говорили выше, мало определить итоговый тестовый балл. Надо еще «поставить оценку» учащемуся. Что можно сказать об уровне знаний ученика, набравшего, скажем, 77 баллов из 100?
Располагая данными по большой группе испытуемых (более 200 человек с разным уровнем владения языком), мы имеем возможность построить достаточно надежное распределение баллов, определив «норму» и своего рода шкалу, с помощью которой каждый сможет определить свое место относительно «нормы».
Здесь очень важным является задание концов шкалы, т.е. определение наилучшего и наихудшего возможного результата. В нашем случае в качестве верхнего конца шкалы (своего рода идеала) естественно было взять групповые итоговые баллы студентов старших курсов языкового вуза. За нижнюю границу были взяты результаты эксперимента по «случайной угадке» верного ответа.
Теперь представим структуру каждой группы учащихся. Ниже, в табл. 3 показано, сколько испытуемых в каждой группе (в % от общего числа) набрали тестовый балл данного интервала. Все множество возможных значений итогового балла разделено на 14 интервалов. Подсчитав свой итоговый тестовый балл, каждый учащийся может оценить, насколько успешен он в «своей» группе и как соотносятся его результаты с результатами других групп.
Существенным этапом процесса тестирования является определение границ «отметок», выставляемых испытуемым по результатам теста. Если не определить способ свести тестовый балл к традиционной школьной отметке («5», «4» и т.д.), то нельзя будет, в частности, использовать наш тест для Единого государственного экзамена по английскому языку.
Таблица 3
Распределение итоговых оценок
по группам испытуемых (в %)
-
Отмет-ка
Значение тестового балла
Студенты, курс
Школьники
Случ. угадка
IV, V
I
продвинутые
спец. школа
общеобр. школа
1
< 5
-
-
-
-
2
23
6-10
-
-
-
-
6
27
2
11-15
-
-
-
-
10
24
16-20
-
-
-
-
12
18
21-25
-
-
-
-
10
7
3
26-30
-
-
-
2
20
-
31-35
-
-
-
19
17
1
4
36-40
-
-
-
29
13
-
41-45
-
-
6
12
6
-
5
46-50
-
-
19
12
3
-
А 1
51-60
-
-
47
21
1
-
А 2
61-70
20
36
25
5
-
-
71-80
62
57
-
-
-
-
А 3
>80
18
7
3
-
-
-
Из табл. 3 видно, что практически все примеры случайной угадки укладываются в сумму баллов до 25. Естественно именно эту сумму баллов и считать границей положительной оценки.
Категория «неудовлетворительно» занимает несколько интервалов. В таблице категории, соответствующие одной оценке, выделены жирными линиями. Всего их оказалось восемь. Интерпретация этих категорий приведена ниже.
Можно предложить, например, следующую интерпретацию восьми выделенных оценок (отметок):
« 1 » – полное отсутствие знаний, тест выполняется наугад5
« 2 » – есть «следы» знаний, но их мало для удовлетворительной оценки
« 3 » – удовлетворительно
« 4 » – хорошо
« 5 » – отлично
А1 – отличная оценка, дающая основание для зачисления в не
престижный языковой вуз
А2 – отличная оценка, дающая основание для зачисления в
престижный языковой вуз
А3 – отменные знания языка, выше среднего для старшекурсников языкового вуза
Как мы видим, в обычной школе всего 3 % учеников показали результат, заслуживающий оценки «отлично», и практически нет детей, которых можно было бы принять в вуз. К сожалению, весьма значительная доля учеников (40 %) имеет результаты, ничем не отличающиеся от случайного угадывания. Такова безрадостная, но объективная картина действительности. Совсем другая ситуация оказалась в спецшколе и в особенности в группе продвинутых учеников (в последнем случае часть детей по знаниям сопоставимы со старшекурсниками).
Так или иначе, если использовать наш тест как вариант ЕГЭ по английскому языку, то в рамках принятой сейчас системы оценок учащиеся, попавшие в интервалы 1 и 2, должны получить в аттестат отметку «2», интервалы 3 и 4 – соответственно «3» и «4», а все остальные – «5».
На наш взгляд, данная система оценок была бы весьма адекватной для использования в системе Единого государственного экзамена. Она в максимальной степени позволяет дифференцировать учеников, что особенно ценно для решения вопроса о зачислении абитуриентов в вузы по итогам Единого экзамена. Во всяком случае, снимаются многие возражения, выдвигаемые ныне вузами.6
В перспективе было бы целесообразно по заданным критериям автоматически определять оценку, которой соответствуют индивидуальные итоговые суммы баллов. Границы интервалов задаются, исходя из реального распределения итоговых оценок данного множества учащихся (возможно, эти границы будут корректироваться с течением времени – в зависимости от уровня подготовленности экзаменуемых в данном году или, допустим, от требований вузов).
Тесты как источник дополнительной
учебно-методическая информация
Кроме основных результатов (тестовый балл и соответствующая ему оценка), данные, полученные в тесте, могут оказаться полезными и в других отношениях. Приведем пару примеров.
1. Результаты тестирования дают возможность сопоставить качество обучения в отдельных учебных заведениях, в том числе по разным видам учебной деятельности. Например, по данным предварительного тестирования уровень знания английского языка в московской спецшколе (средний балл – 48) оказался несколько выше, чем в спецшколе г. Тольятти (37 баллов); средняя оценка по общеобразовательным школам колебалась от 20 до 35 баллов и т.д. Подобные данные могут быть использованы:
♦ органами образования для корректировки программ, пособий, учебных планов, для определения квалификаций учителей;
♦ администрацией школ для оценки деятельности каждого из учителей, выявление достижений школы по сравнению с другими школами данного типа;
♦ учащимися для самооценки и продолжения образования по иностранному языку на уровне выше стандарта;
♦ социологами для выявления основных тенденций в развитии образования.
2. Анализ индивидуальных анкет дает возможность составить представление о сильных и слабых сторонах абитуриентов по отдельным аспектам. Например, если обнаружен «провал» в грамматике, то по результатам массового тестирования можно выявить наиболее трудные разделы грамматики. Остановимся на этом более подробно. Покажем, как это можно сделать, на примере описанного выше теста.
Ставя задачу оценки усвоения учениками грамматических правил, необходимо четко представлять себе, о каком именно наборе правил идет речь. Существует много подходов к составлению грамматик вообще и учебных грамматик в частности. Мы не берем на себя смелость судить о том, какой из подходов наилучший. Для определенности мы обратились к авторитетному учебнику.7
Тщательно проанализировав этот учебник, мы выявили структуру грамматических разделов, которые традиционно включают в школьные курсы обучения: существительное, артикль, местоимение, глагол (образование и употребление временных форм, наклонение, модальное глаголы, инфинитив, герундий) и т.д. – всего 25 тем. Были опущены лишь некоторые разделы, явно рассчитанные на более продвинутый уровень.
Всего в грамматическом разделе теста было представлено 120 заданий, которые, за небольшими исключениями, «покрывали» все темы школьной программы. Полученные от них ответы были сведены в матрицу, в которой и представлена статистика выбора всех вариантов ответов. Анализируя долю правильных и неправильных ответов на те или иные задания, можно судить о степени усвоения соответствующих грамматических правил.
Анализ индивидуальных протоколов позволяет заключить, что к числу самых усвоенных разделов грамматики можно отнести:
1. Вспомогательные глаголы (77,6% правильных ответов)
2. Последовательность времен (68,1%)
3. Модальные глаголы (67,2%)
4. Времена группы Continuous (66,4%)
5. Наречие (60,7%)
Принято считать материал усвоенным удовлетворительно, если на него получено 50 и более процентов правильных ответов. Приведенные выше разделы, таким образом, можно считать вполне усвоенными.
С другой стороны, введенному критерию явно не удовлетворяют следующие разделы:
Perfect Continuous (48,8% правильных ответов)
Страдательный залог (46,5%)
Причастие (42,6%)
Сослагательное наклонение (32,1%)
Условные предложения (30,0%).
Вывод из этих данных очевиден: перечисленные разделы либо очень трудны сами по себе, либо их плохо преподают. Дальнейший анализ ответов может касаться того, какой именно неверный ответ выбирают учащиеся в случае ошибки. Выявление здесь предпочтений даст пищу для размышлений преподавателю и методисту. Анализируя эти данные, мы приходим к реализации еще одной функции тестов – обучающей. Кроме своей основной – контрольной – функции, тесты все чаще находят применение как упражнения, призванные способствовать овладению конкретным языковым материалом или речевыми умениями (ср. англ. термин teaching tests).
Противопоставление контролирующих и обучающих тестов в некотором смысле условно: практически каждый контроль обучает, а любое упражнение (задание) предполагает контроль его выполнения. Тем не менее, обучающая функция теста заслуживает отдельного внимания, тем более что в нашей литературе она практически не освещена.
Пожалуй, наиболее эффективно было бы использовать тесты при закреплении грамматических знаний. Можно предложить следующую процедуру работы. Ученикам предлагается небольшой тест на применение грамматических правил. Лучше всего иметь тестовые задания со множественным выбором ответов.8
Задания следует выполнять одно за другим, причем ученики должны каждый раз аргументировать свой выбор того или иного варианта и объяснять, почему, с их точки зрения, неверны другие варианты. Приведем пару примеров подобного обсуждения.
Задание 1. Here is my hat! Where is …... ?
A your hat B yours C your one D your
Правильный вариант В – абсолютная форма притяжательного местоимения. Эта словоформа может употребляться самостоятельно, без определяемого слова, чем резко отличается от формы притяжательного местоимения, появление которой без существительного исключено. Именно поэтому вариант D максимально штрафуется. Вариант А, вообще говоря, грамматически вполне приемлем и был бы отчасти приемлем в спонтанной устной речи, но он не удачен стилистически. Выбор варианта С потребует обсуждения совсем другого правила (ср. I like this one).
Задание 2. I met the Browns on my way home. They ..… to the bus stop.
A hurried B were hurrying C had hurried D had been hurrying
(Верен вариант В). Действие происходит в точно обозначенный момент в прошлом (on my way home) – следовательно, следует употребить Past Continuous. Вариант C (Past Perfect) опровергается контекстом: не естественно выглядит ситуация ‘я встретил Браунов, которые когда-то давно шли на остановку’. Для варианта D необходимо было бы указать период времени, в течение которого Брауны находились на своем пути к остановке до момента встречи.
Анализ вариантов ведется в группе; ученики приводят свои аргументы, возможно, спорят. В процессе этого обсуждения, во-первых, уточняются и закрепляются знания соответствующих разделов грамматики. А во-вторых, ученики учатся логике рассуждений, которая совершенно необходима для выработки стратегии в решении любых тестовых заданий.
Описанный подход был апробирован в одном из исследований, которое было построено по следующему плану. Вначале двум группам учеников 9 класса – контрольной и экспериментальной – был дан тест на оценку навыков грамматики. По свидетельству учителя средний уровень знаний по английскому языку в группах был примерно одинаковым.
Затем в экспериментальной группе на протяжении месяца тест с аналогичными заданиями использовался как инструмент для объяснения и закрепления знаний по описанной выше методике (по 10-15 мин. на уроке). В контрольной группе подобных упражнений не проводилось. В остальных отношениях учебные программы в двух группах были сходными. В конце эксперимента в обеих группах было проведено повторное тестирование. Результаты двух сеансов тестирования оказались следующими:
|
Контрольная группа |
Экспериментальная группа |
|||
исходный тест |
итоговый тест |
исходный тест |
итоговый тест |
||
Средний балл по группе |
19,09 |
20,5 |
18,36 |
24,63 |
|
Как видно из результатов, в начале исследования обе группы проявили примерно равные знания, что соответствует оценке учителя. В контрольной группе различия между исходным и итоговым тестированием практически нет: некоторое увеличение среднего балла не выходит за рамки случайных колебаний.
Иная картина в экспериментальной группе. Здесь произошло значительное улучшение как среднего (на 20 %), так и индивидуальных показателей (у всех без исключения учеников выявилась тенденция к улучшению).
Данные результаты неоспоримо свидетельствуют в пользу эффективности использования тестов в функции упражнений. Остается выяснить, насколько велик вклад каждого из двух составляющих этого успеха: собственно закрепление знаний грамматических правил или совершенствование стратегии выполнения тестовых заданий.
