51. Методика разработки педагогического теста

При разработке методики будем исходить из того, что под  педагогическим тестом следует понимать систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и на­выков, которые должны быть усвоены студентами.

Полный объем знаний, умений и навыков, которые должны быть усвоены в результате изучения курса обучения и овладение которыми измеряется тестом, на­зывается областью содержания теста. С ней необходимо соотнести учеб­ные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили.

Методика предполагает разработку педагогических тестов (mastery tests), используемых для классификации студентов на группы на основании заранее выбранного критерия. В качестве таких критериев рассматривается возможность выделения четырех групп студентов –­ не усвоивших, слабо усвоивших, хорошо усвоивших и полностью на отлично усвоивших содержание учебной дисциплины. Для отнесения к определенной группе студент должен достичь необходимого минимального для этой группы уровня овладения учебным материалом. Этот уровень устанавли­вается разработчиками теста и является критерием, на основа­нии которого принимается решение относительно испытуемого. В тесте критерий выражается определенным количеством заданий, выполнение которых позволяет отнести его в одну из указанных групп.

Разработка теста начинается с формулирования его цели, то есть определения того, что тест должен измерять (например, итоги изучения как отдельных разделов, так и всего курса названной дисциплины).

Первоначально цель тестирования формулируется в общем виде. Для того чтобы приступить к разработке тестовых заданий, необходимо ее конкре­тизировать. Должны быть четко и однозначно описаны все знания, умения и навыки, владение которыми проверяется с по­мощью теста, т.е. необходимо четкое описание об­ласти содержания теста. Если измеряется владение каким-либо одним видом знаний или умений, то такой тест называется го­могенным. Если измеряется владение разнород­ными знаниями, умениями, навыками, то такой тест называется гетерогенным. Описание области содержания гетерогенного теста обычно бывает намного объемнее, чем описание области содержания гомогенного теста. В любом случае требуется максимально четкое описание того, что должен знать и или уметь студент.

После формулирования цели теста и ее конкретизации в виде отдельных знаний, умений и навыков, переходят к разра­ботке спецификации теста. Спецификация теста представляет собой набор описательных схем, которые позволяют установить соответствие между тесто­выми заданиями и областью содержания теста. Она обеспечивает репрезентативность заданий по отношению к области содержа­ния. Спецификация пишется на предельно операциональном языке и представляет собой, по сути, правила, по которым могут разрабатываться задания. При разработке спецификации необходимо стремиться сде­лать эти привила настолько четкими, чтобы их можно было использовать как алгоритмы.

После составления спецификации разрабатывается план теста. Если, например, тест состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающий 30-60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины.

После разбивки заданий разрабатывается перечень задач, которые ставятся перед тестированием.

После формулирования цели теста, составления спецификации и плана теста переходят к разработке тестовых заданий. При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешно­сти овладения определенными учебными  дисциплинами или их разделами.

Правила для разработки тестовых заданий:

– необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, правил, действий и т.д.;

– задания теста должны быть сформулированы четко, кратко и недвусмысленно;

– варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможно­сти простой догадки;

– учиты­вая, что задаваемый вопрос должен быть сформулирован коротко, желатель­но также кратко и однозначно формулировать ответы.

Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью. Описываемый этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наилучших и выбраковки неудачных.

Вы­деляют две группы методов анализа заданий: экспертные и ма­тематические. Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соот­ветствуют по содержанию предмету измерения, т.е. действи­тельно ли задания позволяют измерить именно те знания, уме­ния и навыки, для которых разрабатывается тест.

Анализ заданий математическими методами позволяет полу­чить информацию об их скрытых дефектах, которые не удается выявить с помощью экспертных методов. Сведения о характе­ристиках заданий, получаемые с помощью математического ана­лиза, позволяют конструировать тесты с желаемыми статисти­ческими свойствами.

Оценка валидности и надежности теста

В тестологии существуют две категории, связанные с ка­чеством теста как инструмента измерения. Это валидность и надежность. Обычно валидность и надежность оцениваются с по­мощью математических методов и выражаются в специальных по­казателях.

Валидность теста выражает степень, в которой тест изме­ряет именно то, что он должен измерять. Валидность по содержанию в сущности озна­чает систематическую проверку содержания теста с тем, чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области знаний, навыков или умений.

При оценке теста на валидность необходимо выбрать контрольную группу студентов и провести оценку их знаний, навыков и умений по дисциплине как с использованием разработанного теста, так и с помощью экспертных оценок, выставленных преподавателем-экспертом традиционным образом без использования теста. После чего результаты студентов по вопросам теста и по оцен­кам экспертов оценивают с точки зрения их корреляции. Мера согласованности оценок по тесту и по экспертным суждениям указывает на меру валидности. По мнению ведущих диагностов, низким признается коэффициент валидности порядка  0.20 – 0.30, средним  - 0.30 – 0.50, высоким - выше 0.60.

Надежность теста. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых при разных условиях. Согласованность результатов нескольких тестирований – это их идентичность. Категория надежности тесно связана с точностью измерения: чём выше надежность теста, тем точнее результаты измерения.

Степень надежности теста выражается в специально разработанных показателях на­дежности. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Оба тестирование про­водятся на одной и той же группе  испытуемых, но меняются условия проведения: чаще всего либо время, либо набор зада­ний

Заключительные этапы разработки теста

 После проведения анализа заданий математическими мето­дами и оценки качества теста обычно оказывается, что тест требует доработки – удаления неудачных заданий, включения до­полнительных заданий с требуемыми свойствами, повышения валидности или надежности. С учетом выявленных недостатков составляется новый вариант теста и опять проводится пилотажное тестирование, чтобы получить эмпирические данные для но­вого математического анализа. Цикл пилотажное тестирование – математический анализ должен "прокручиваться" до тех пор, пока не получится вариант теста с удовлетворяющими разработ­чика характеристиками. Наличие банка заданий, существенно превосходящего по объему количество заданий, используемое для теста, облегчает эту работу.

Определение критериев для выставления оценки студентам по результатам тестирования

Для теста из двенадцати заданий, включающего в себя три уровня сложности, оценка “удовлетворительно” выставляется при условии решения студентом не менее 7 заданий (58% от всех заданий), из них не менее 3-х заданий первого уровня и не менее 4 заданий двух других более высоких уровней.

Оценка “хорошо” выставляется  при условии решения не менее 9 заданий (75%) при условии решения всех заданий первого уровня и не менее 3 задания второго уровня. 

Оценка “отлично” выставляется при условии решения не менее 10 заданий (83%), при условии решения не менее 4 заданий первого уровня, 3 заданий второго уровня и 3 заданий третьего уровня.