Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
testirovanie_Vasilevich_A_P.docx
Скачиваний:
3
Добавлен:
01.07.2025
Размер:
140 Кб
Скачать
☆

Вариант присвоения тестовых баллов

Доля правильных ответов, в %

ме­нее 10

10-19

20-39

40-49

50-64

65-80

81-90

бо­лее 90

Балл

*

7

6

5

4

3

2

*

Звездочкой помечены неудачные задания (слишком легкие или слишком трудные); они подлежит замене. Установленный по этой шкале балл и приписывается всем правильным ответам.

Перейдем к процедуре определения тестовых баллов для ошибочных ответов. Во-первых, оценки неверных ответов должны быть «соизмеримы» с оценкой правильного ответа на данное задание. Если правильный ответ имеет балл 7, то непра­вильный может быть оценен, скажем, 2 или 3 балла, но если правильный ответ получил оценку 2 балла, то для сохранения «дистанции» неправильные ответы должны получать отрица­тельные баллы. Какой должна быть дистанция между правиль­ным и самым лучшим из неправильных ответов решить объек­тивно трудно. Мы предложили считать эту дистанцию, равной трем-четырем баллам.

Во-вторых, решающим фактором является ранжирование ответов по степени серьезности ошибки (чем более «ошибочен» вариант ответа, тем меньше его балл). Указанное ранжирование задается на входе (1-ый ранг – правильный ответ; 2-ой ранг – «ответ чуть хуже верного», 3-ий ранг – «еще хуже», 4-ый ранг – «самый неудачный ответ»).

После соответствующих подстановок каждый неверный ва­риант ответа получает свой оценочный балл. Вместе с баллами для верных ответов система приписанных баллов принимает вид традиционного «проверочного ключа» – таблицы тестовых бал­лов, с помощью которой можно оценить работу испытуемого.

Приведем проверочный ключ для рассматриваемого примера.

Задание

Варианты ответа

Именно в таком виде и представлены ключи ко всем заданиям. Что касается вычис­ления индивидуального итого­вого балла, то подробная ин­струкция на этот счет дается в приложении к тесту.

A

B

C

D

1

1

-1

4

-2

2

0

4

-1

-2

3

2

-1

6

-2

4

-2

-1

-3

3

Этапы 7-8 (окончательный вариант теста и его реальное применение в широкой аудитории).

Окончательный вариант текстов и заданий к ним, инструк­ции и ключи к заданиям приводятся в упомянутой выше книге [Василевич 2005].

Определяя состав тестируемых, необходимо было, в част­ности, предусмотреть возможность оценить валидность заданий. Именно поэтому были привлечены группы испытуемых, кото­рые представляли три заведомо разных уровня знаний: старше­классники обычной средней школы (условно можно считать, что эта группа представляла низший уровень знаний); продви­нутые ученики (учащиеся спецшкол или дети, интенсивно зани­мающиеся с частными преподавателями) и студенты языкового вуза. В случае хорошей валидности теста, его результаты должны четко дифференцировать эти три группы испытуемых. Кроме того, для контроля был проведен эксперимент по случай­ной угадке правильного ответа (большая группа ребят выбирала ответ, не знакомясь с текстом, наугад). К настоящему времени тест был опробован на аудитории, включающей более 200 уча­щихся. Этого, конечно, явно не достаточно, чтобы в полной мере оценить валидность и надежность создаваемого теста. Од­нако предварительные данные говорят о безусловной диффе­ренциации выделенных групп – это сильный аргумент в пользу валидности теста.

Этап 9 (стандартизация теста).

О стандартизации имеет смысл говорить применительно к конкретной группе тестируемых, в том числе учитывая те ре­зультаты, которые были получены путем случайной угадки.

Для человека, который организует тест, очень важно разли­чать две разных ситуации. Одно дело, когда тестируемый обла­дает недостаточным знанием, которое позволяет ему правильно выполнить, например, лишь треть заданий. И совсем другое дело, когда он вообще ничего не знает и отвечает наугад (имея хорошие шансы в результате набрать ту же треть верных отве­тов). Противники тестирования часто ссылаются на то, что при выборе ответа из множества заданных вариантов, испытуемый может указать на правильное решение чисто случайно. В самом деле, при наличии выбора ответов на задание и при относи­тельно низкой степени владения языком у тестируемого появля­ется естественное желание попытаться «угадать» правильный ответ. Скажем прямо: при наличии всего трех-четырех вариан­тов шанс «попасть в точку» довольно велик и встает проблема случайного угадывания правильного ответа. Именно поэтому «не в моде» альтернативные вопросы, где выбор ответа ограни­чивается двумя возможностями (здесь шанс угадать катастро­фически высок).

Данная проблема хорошо известна в теории вероятностей. Тесты, обеспеченные соответствующим математическим аппа­ратом обработки данных, обычно снабжаются «поправочными коэффициентами», которые основаны на чисто математических процедурах. Обычно эти процедуры связаны с механизмом по­рождения случайных чисел. Однако в реальной ситуации слу­чайного выбора испытуемый вряд ли прибегает к помощи слу­чайных чисел. Волей-неволей он выбирает некоторую страте­гию, причем, возможно, арсенал этих стратегий ограничен, и тогда появляется шанс совпадения стратегии у разных испытуе­мых. Чтобы исследовать этот возможно существующий фено­мен стратегии, в ходе предварительного тестирования группе школьников был предложен «тест без текста». Другими сло­вами, их просили заполнять бланки ответов в отсутствие самих заданий, произвольно вписывая варианты (А, В, С или D) в клетки бланка. В результате было собрано множество заполнен­ных бланков, в чистом виде иллюстрирующих стратегию вы­полнения тестовых заданий наугад.

Моделирование ситуации случайного выбора в реальном тесте может существенно помочь при определении шкалы те­стовых баллов и, в особенности, при решении проблемы стан­дартизации теста. Результаты эксперимента были учтены при осуществлении стандартизации теста.

Как мы уже говорили выше, мало определить итоговый тестовый балл. Надо еще «поставить оценку» учащемуся. Что можно сказать об уровне знаний ученика, набравшего, ска­жем, 77 баллов из 100?

Располагая данными по большой группе испытуемых (бо­лее 200 человек с разным уровнем владения языком), мы имеем возможность построить достаточно надежное распределение баллов, определив «норму» и своего рода шкалу, с помощью которой каждый сможет определить свое место относительно «нормы».

Здесь очень важным является задание концов шкалы, т.е. определение наилучшего и наихудшего возможного результата. В нашем случае в качестве верхнего конца шкалы (своего рода идеала) естественно было взять групповые итоговые баллы сту­дентов старших курсов языкового вуза. За нижнюю границу были взяты результаты эксперимента по «случайной угадке» верного ответа.

Теперь представим структуру каждой группы учащихся. Ниже, в табл. 3 показано, сколько испытуемых в каждой группе (в % от общего числа) набрали тестовый балл данного интер­вала. Все множество возможных значений итогового балла раз­делено на 14 интервалов. Подсчитав свой итоговый тестовый балл, каждый учащийся может оценить, насколько успешен он в «своей» группе и как соотносятся его результаты с результа­тами других групп.

Существенным этапом процесса тестирования является определение границ «отметок», выставляемых испытуемым по результатам теста. Если не определить способ свести тестовый балл к традиционной школьной отметке («5», «4» и т.д.), то нельзя будет, в частности, использовать наш тест для Единого государственного экзамена по английскому языку.

Таблица 3

Распределение итоговых оценок

по группам испытуемых (в %)

От­мет-ка

Значение тесто­вого балла

Студенты, курс

Школьники

Случ. угадка

IV, V

I

про­двину­тые

спец. школа

обще­обр. школа

1

< 5

-

-

-

-

2

23

6-10

-

-

-

-

6

27

2

11-15

-

-

-

-

10

24

16-20

-

-

-

-

12

18

21-25

-

-

-

-

10

7

3

26-30

-

-

-

2

20

-

31-35

-

-

-

19

17

1

4

36-40

-

-

-

29

13

-

41-45

-

-

6

12

6

-

5

46-50

-

-

19

12

3

-

А 1

51-60

-

-

47

21

1

-

А 2

61-70

20

36

25

5

-

-

71-80

62

57

-

-

-

-

А 3

>80

18

7

3

-

-

-

Из табл. 3 видно, что практически все примеры случайной угадки укладываются в сумму баллов до 25. Естественно именно эту сумму баллов и считать границей положительной оценки.

Категория «неудовлетворительно» занимает несколько ин­тервалов. В таблице категории, соответствующие одной оценке, выделены жирными линиями. Всего их оказалось восемь. Ин­терпретация этих категорий приведена ниже.

Можно предложить, например, следующую интерпрета­цию восьми выделенных оценок (отметок):

« 1 » – полное отсутствие знаний, тест выполняется наугад5

« 2 » – есть «следы» знаний, но их мало для удовлетворитель­ной оценки

« 3 » – удовлетворительно

« 4 » – хорошо

« 5 » – отлично

А1 – отличная оценка, дающая основание для зачисления в не

престижный языковой вуз

А2 – отличная оценка, дающая основание для зачисления в

престижный языковой вуз

А3 – отменные знания языка, выше среднего для старшекурс­ников языкового вуза

Как мы видим, в обычной школе всего 3 % учеников показали результат, заслуживающий оценки «отлично», и практически нет детей, которых можно было бы принять в вуз. К сожалению, весьма значительная доля учеников (40 %) имеет результаты, ничем не отличающиеся от случайного угадывания. Такова безрадостная, но объективная картина действительности. Совсем другая ситуация оказалась в спецшколе и в особенности в группе продвинутых учеников (в последнем случае часть детей по знаниям сопоставимы со старшекурсниками).

Так или иначе, если использовать наш тест как вариант ЕГЭ по английскому языку, то в рамках принятой сейчас системы оценок учащиеся, попавшие в интервалы 1 и 2, должны получить в аттестат отметку «2», интервалы 3 и 4 – соответственно «3» и «4», а все остальные – «5».

На наш взгляд, данная система оценок была бы весьма адекватной для использования в системе Единого государственного экзамена. Она в максимальной степени позволяет дифференцировать учеников, что особенно ценно для решения вопроса о зачислении абитуриентов в вузы по итогам Единого экзамена. Во всяком случае, снимаются многие возражения, выдвигаемые ныне вузами.6

В перспективе было бы целесообразно по заданным критериям автоматически определять оценку, которой соответствуют индивидуальные итоговые суммы баллов. Границы интервалов задаются, исходя из реального распределения итоговых оценок данного множества учащихся (возможно, эти границы будут корректироваться с течением времени – в зависимости от уровня подготовленности экзаменуемых в данном году или, допустим, от требований вузов).

Тесты как источник дополнительной

учебно-методическая информация

Кроме основных результатов (тестовый балл и соответствующая ему оценка), данные, полученные в тесте, могут оказаться полезными и в других отношениях. Приведем пару примеров.

1. Результаты тестирования дают возможность сопоставить качество обучения в отдельных учебных заведениях, в том числе по разным видам учебной деятельности. Например, по данным предварительного тестирования уровень знания англий­ского языка в московской спецшколе (средний балл – 48) ока­зался несколько выше, чем в спецшколе г. Тольятти (37 баллов); средняя оценка по общеобразовательным школам колебалась от 20 до 35 баллов и т.д. Подобные данные могут быть использо­ваны:

♦ органами образования для корректировки программ, пособий, учебных планов, для определения квалификаций учителей;

♦ администрацией школ для оценки деятельности каждого из учителей, выявление достижений школы по сравнению с дру­гими школами данного типа;

♦ учащимися для самооценки и продолжения образования по иностранному языку на уровне выше стандарта;

♦ социологами для выявления основных тенденций в развитии образования.

2. Анализ индивидуальных анкет дает возможность соста­вить представление о сильных и слабых сторонах абитуриентов по отдельным аспектам. Например, если обнаружен «провал» в грамматике, то по результатам массового тестирования можно выявить наиболее трудные разделы грамматики. Остановимся на этом более подробно. Покажем, как это можно сделать, на примере описанного выше теста.

Ставя задачу оценки усвоения учениками грамматических правил, необходимо четко представлять себе, о каком именно наборе правил идет речь. Существует много подходов к состав­лению грамматик вообще и учебных грамматик в частности. Мы не берем на себя смелость судить о том, какой из подходов наилучший. Для определенности мы обратились к авторитет­ному учебнику.7

Тщательно проанализировав этот учебник, мы выявили структуру грамматических разделов, которые традиционно включают в школьные курсы обучения: существительное, ар­тикль, местоимение, глагол (образование и употребление вре­менных форм, наклонение, модальное глаголы, инфинитив, ге­рундий) и т.д. – всего 25 тем. Были опущены лишь некоторые разделы, явно рассчитанные на более продвинутый уровень.

Всего в грамматическом разделе теста было представлено 120 заданий, которые, за небольшими исключениями, «покры­вали» все темы школьной программы. Полученные от них от­веты были сведены в матрицу, в которой и представлена стати­стика выбора всех вариантов ответов. Анализируя долю пра­вильных и неправильных ответов на те или иные задания, можно судить о степени усвоения соответствующих граммати­ческих правил.

Анализ индивидуальных протоколов позволяет заключить, что к числу самых усвоенных разделов грамматики можно от­нести:

1. Вспомогательные глаголы (77,6% правильных ответов)

2. Последовательность времен (68,1%)

3. Модальные глаголы (67,2%)

4. Времена группы Continuous (66,4%)

5. Наречие (60,7%)

Принято считать материал усвоенным удовлетворительно, если на него получено 50 и более процентов правильных отве­тов. Приведенные выше разделы, таким образом, можно счи­тать вполне усвоенными.

С другой стороны, введенному критерию явно не удовле­творяют следующие разделы:

Perfect Continuous (48,8% правильных ответов)

Страдательный залог (46,5%)

Причастие (42,6%)

Сослагательное наклонение (32,1%)

Условные предложения (30,0%).

Вывод из этих данных очевиден: перечисленные разделы либо очень трудны сами по себе, либо их плохо преподают. Дальнейший анализ ответов может касаться того, какой именно неверный ответ выбирают учащиеся в случае ошибки. Выявле­ние здесь предпочтений даст пищу для размышлений препода­вателю и методисту. Анализируя эти данные, мы приходим к реализации еще одной функции тестов – обучающей. Кроме своей основной – контрольной – функции, тесты все чаще находят применение как упражнения, призванные способство­вать овладению конкретным языковым материалом или рече­выми умениями (ср. англ. термин teaching tests).

Противопоставление контролирующих и обучающих тестов в некотором смысле условно: практически каждый контроль обучает, а любое упражнение (задание) предполагает контроль его выполнения. Тем не менее, обучающая функция теста за­служивает отдельного внимания, тем более что в нашей литера­туре она практически не освещена.

Пожалуй, наиболее эффективно было бы использовать те­сты при закреплении грамматических знаний. Можно предло­жить следующую процедуру работы. Ученикам предлагается небольшой тест на применение грамматических правил. Лучше всего иметь тестовые задания со множественным выбором отве­тов.8

Задания следует выполнять одно за другим, причем уче­ники должны каждый раз аргументировать свой выбор того или иного варианта и объяснять, почему, с их точки зрения, неверны другие варианты. Приведем пару примеров подобного обсуж­дения.

Задание 1. Here is my hat! Where is …... ?

A your hat B yours C your one D your

Правильный вариант В – абсолютная форма притяжатель­ного местоимения. Эта словоформа может употребляться само­стоятельно, без определяемого слова, чем резко отличается от формы притяжательного местоимения, появление которой без существительного исключено. Именно поэтому вариант D мак­симально штрафуется. Вариант А, вообще говоря, грамматиче­ски вполне приемлем и был бы отчасти приемлем в спонтанной устной речи, но он не удачен стилистически. Выбор варианта С потребует обсуждения совсем другого правила (ср. I like this one).

Задание 2. I met the Browns on my way home. They ..… to the bus stop.

A hurried B were hurrying C had hurried D had been hurrying

(Верен вариант В). Действие происходит в точно обозна­ченный момент в прошлом (on my way home) – следовательно, следует употребить Past Continuous. Вариант C (Past Perfect) опровергается контекстом: не естественно выглядит ситуация ‘я встретил Браунов, которые когда-то давно шли на остановку’. Для варианта D необходимо было бы указать период времени, в течение которого Брауны находились на своем пути к остановке до момента встречи.

Анализ вариантов ведется в группе; ученики приводят свои аргументы, возможно, спорят. В процессе этого обсуждения, во-первых, уточняются и закрепляются знания соответствующих разделов грамматики. А во-вторых, ученики учатся логике рас­суждений, которая совершенно необходима для выработки стра­тегии в решении любых тестовых заданий.

Описанный подход был апробирован в одном из исследова­ний, которое было построено по следующему плану. Вначале двум группам учеников 9 класса – контрольной и эксперимен­тальной – был дан тест на оценку навыков грамматики. По сви­детельству учителя средний уровень знаний по английскому языку в группах был примерно одинаковым.

Затем в экспериментальной группе на протяжении месяца тест с аналогичными заданиями использовался как инструмент для объяснения и закрепления знаний по описанной выше мето­дике (по 10-15 мин. на уроке). В контрольной группе подобных упражнений не проводилось. В остальных отношениях учебные программы в двух группах были сходными. В конце экспери­мента в обеих группах было проведено повторное тестирование. Результаты двух сеансов тестирования оказались следующими:

Контрольная группа

Экспериментальная группа

исходный тест

итоговый тест

исходный тест

итоговый тест

Средний балл по группе

19,09

20,5

18,36

24,63

Как видно из результатов, в начале исследования обе группы проявили примерно равные знания, что соответствует оценке учителя. В контрольной группе различия между исход­ным и итоговым тестированием практически нет: некоторое увеличение среднего балла не выходит за рамки случайных ко­лебаний.

Иная картина в экспериментальной группе. Здесь произо­шло значительное улучшение как среднего (на 20 %), так и ин­дивидуальных показателей (у всех без исключения учеников выявилась тенденция к улучшению).

Данные результаты неоспоримо свидетельствуют в пользу эффективности использования тестов в функции упражнений. Остается выяснить, насколько велик вклад каждого из двух со­ставляющих этого успеха: собственно закрепление знаний грамматических правил или совершенствование стратегии вы­полнения тестовых заданий.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]