Валидность

Способность теста соответствовать поставленным задачам,

т.е. пригодность тестовых результатов для определенной цели, задается валидностью.

«Валидность – это методологическая характеристика способности теста измерять то, для чего он был создан». Валидность означает, что сильные студенты выполняют тест верно, слабые – неверно.

Она зависит от:

• качества заданий, их числа, степени полноты и глубины охвата содержания учебной дисциплины в заданиях теста;

• баланса и распределения заданий по трудности;

• метода отбора заданий из общего банка, от интерпретации результатов тестирования;

• организации сбора данных, подбора выборочной совокупности испытуемых»

Э. Стоунс, «валидность – ахиллесова пята тестирования».

Валидизацию проводит специальный уполномоченный по экспертизе тестовых материалов с привлечением специалистов-тестологов и независимых экспертов по различным предметным областям.

Существуют два основных вида тестов:

1. Распределение заданий по трудности в нормативно-ориентированном тесте, используемом для ранжирования испытуемых по уровням подготовленности

2. Распределение заданий по трудности в критериально-ориентированном тесте, используемом для определения освоили или не освоили обучающиеся содержание контролируемого материала.

Предварительные выводы о тесте по виду распределения баллов:

Связь распределения индивидуальных баллов и трудности заданий теста.

Для нормативно-ориентированного теста процент выполнения заданий должен составлять примерно 50%, а для критериального теста – 80..90%. Тест должен состоять не менее чем из 20 заданий (для гуманитарных дисциплин в среднем 40 заданий).

В каждом задании дается не более 5 ответов, из которых один – правильный, а остальные - дистракторы. Основная задача при отладке теста – выровнять дистрактор³. Подбор дистракторов сложная задача, их необходимо сфермулировать так, чтобы не вводить испытуемых в заблуждение и в то же время обеспечить равновероятный выбор неподготовленными студентами.

Аттестационный тест всегда делается под реальную выборку студентов и должен иметь 90% проходимости.

Выбор критериального бала

В реальной выборке рассматриваются 30% слабых и 30% сильных студентов, то есть определяется эмпирическая валидность критериального балла методом контрастных групп. Для этого проводится экзамен на потоке, а затем сильным и слабым студентам потока выдается тест, по результатам выполнения теста строиться график.

% студентов

из каждой

группы

 

 

 

слабые сильные

 

 

 

 

 

10 20 30 40 50 60 70 80 90 100

% правильных ответов в обеих группах - точка эмпирического критериального балла

Рекомендации по назначению нормы трудности

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

- количество концептов, необходимых для решения ТЗ;

- образ мышления, на который направлено ТЗ;

- форма ТЗ;

- уровень значимости ТЗ;

- глубина расположения ТЗ в спецификации;

- количество дистракторов.

3. Норма трудности ТЗ может оцениваться с учетом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на «опознание» какого-то объекта или на проверку «знания-знакомства», то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Назначение нормы трудности можно производить с учетом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ - на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

9. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

10. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню «глубины» спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое «Понятие»), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой «Теме» или «Подтеме») повышает норму трудности - средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к «Разделу», «Главе»), можно считать сложным.

11. Увеличение количества дистракторов⁴ также влияет на увеличение нормы трудности ТЗ.

12. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.