- •Принятая система сокращений:
- •Структура теста
- •Спецификация
- •Пример распределения заданий по видам деятельности
- •Бланк оценочного средства
- •Бланк ответов
- •Основные этапы конструирования оценочного средства (теста)
- •Выбор критериального бала
- •Рекомендации по назначению нормы трудности
- •Валидность
- •Существуют два основных вида тестов:
- •Определение нормы трудности тестовых заданий
- •Типы тестовых заданий
- •Общие требования к тестовым заданиям
- •Тестовые задания закрытой формы
- •Тестовые задания открытой формы
- •Тестовые задания на установление соответствия
- •Тестовые задания на установление последовательности
- •Статистическая обработка выполнения тестов
- •Учет погрешности измерения
- •Шкалирование результатов
- •Анализ результатов тестирования
- •Структура компетентностно-ориентированного задания
- •Примеры тестовых заданий
- •Примеры тестовых заданий нового поколения
- •Мини-кейс
- •Расчетное задание с выбором ответа
- •Ситуационное задание «Хеджирование»
- •Техническое задание на разработку web-сайта.
- •Решение практических расчетных задач с обоснованием решения
- •Спецификация теста
- •4. Авторский коллектив разработчиков
- •Технологическая матрица фонда оценочных средств по дисциплине________________________
- •Анализ результатов________________________________тестирования
- •Образец компетентностно-ориентированного задания Темперамент
- •Спецификация тестового контроля знаний по физике
- •2. Документы, определяющие содержание тестового контроля знаний
- •3. Условия применения
- •4. Структура тестового контроля знаний
- •5. Распределение заданий по проверяемым элементам содержания
- •6. Время выполнения работы
- •7. Система оценивания отдельных заданий и работы в целом
- •8. Разработчик: ______________________________________________ демонстрационный вариант теста
- •Желаем успеха! Демонстрационный вариант теста
- •Ответы к заданиям с выбором ответов
- •К этому надо добавить 5 вариантов теста
Тестовые задания на установление соответствия
1. ТЗ на установление соответствия – это ТЗ, при выполнении которого необходимо установить правильное соответствие между элементами двух множеств: объектов (субъектов, процессов) и их атрибутов (свойств, характеристик, структур и т.п.).
2. ТЗ на установление соответствия состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:М (одному элементу первой группы соответствуют М элементов второй группы).
Рекомендации:
- элементы множеств должны быть выбраны по одному основанию (принципу), т.е. должны быть однородны;
- ТЗ структурно оформляется соответствующим образом. В верхней части задания приводится инструкция «Установите соответствие...». Под инструкцией указываются наименования двух колонок – левой и правой. В левой колонке размещены элементы первого множества (элементы левого столбца). Эти элементы помечены цифрами. В правой колонке размещены элементы второго множества, помеченные буквами (элементы правого столбца). Номера и буквы используются как идентификаторы (метки) элементов. Арабские цифры являются идентификаторами первой группы, заглавные или строчные буквы русского алфавита - второй. Номера и буквы отделяются от содержания столбцов круглой скобкой;
- необходимо строго придерживаться следующего правила: количество элементов в правом столбце должно быть больше числа элементов в левом столбце. Если количество элементов в обоих столбцах одинаковое, то при установлении соответствия для последнего левого элемента останется единственный правый элемент, что приведет к исчезновению выбора, что недопустимо. По этой причине количество правых элементов должно в 1,5 – 2 раза превышать количество левых элементов.
Тестовые задания на установление последовательности
1. ТЗ на установление последовательности – это ТЗ, при выполнении которого необходимо установить правильную последовательность действий, событий, операций (порядок среди однородных элементов некоторой группы действий, событий, операций).
2. ТЗ на установление последовательности действий позволяют эффективно оценивать знания и умения тестируемых в построении логических последовательностей, технологических цепочек, алгоритмов исполнения каких-либо процедур, построении хронологических последовательностей.
3. Структура ТЗ на установление последовательности включает инструкцию «Установить правильную последовательность», вводную часть задания, список элементов, которые надо упорядочить.
Рекомендации:
- в ТЗ четко формулируется критерий упорядочивания;
- элементы множеств должны быть выбраны по одному основанию (принципу), т.е. должны быть однородны.
Более подробно описание других форм тестовых заданий и примеры к ним можно найти в приведенных ниже литературных источниках.
Статистическая обработка выполнения тестов
Итоговый нормативный тест оценивается, как правило, за каждое задание выставлением дихотомических оценок:1- верно и 0 – неверно, получая при этом в матрице результатов профили из нулей и единиц. Результаты сводятся в таблицу. При обработке тестов выполняется несколько этапов-шагов.
Первый шаг – Формирование матрицы Хi,j результатов тестируемых, где i - студент, j – результат. На основе этой матрицы выполняется подсчет индивидуальных баллов студентов и количество правильных ответов по числу заданий теста:
.
Подсчёт индивидуальных баллов студентов и количества правильных ответов по тесту:
,
где n-число заданий, а N- число студентов.
Второй шаг:
Процесс сортировки: Rj- располагает в порядке возрастания.
Третий шаг:
числа Xi располагают по возрастанию или по убыванию.
Чем больше единиц вверху, тем правильней составлен тест.
Четвёртый шаг:
Подсчёт средних значений баллов и количества правильных ответов.
Трудный тест
Л
ёгкий
тест
Средний тест
Среднее значение показывает точку сгущения баллов в унимодальном распределении.
Пятый шаг: построение гистограмм.
Шестой шаг:
Характеристика распределения баллов вокруг среднего значения.
Х
2 3 4 5 6
Дисперсия – мера разброса вокруг среднего значения. Она должна находиться в определенных пределах. Для оценки дисперсии необходим закон нормального распределения. В целом дисперсия теста может оцениваться выражением
.
На практике чаще используют так называемую исправленную дисперсию
.
Седьмой шаг:
Определение стандартного отклонения как
.
Восьмой шаг:
Определение системообразующих свойств тестов (корреляция).
Принято считать, что если значение корреляции стремится к 1, то тест хорош, если к –1 , тогда тест плох. Если значение корреляции близко к нулю, тест считается неустойчивым. Коэффициент корреляции определяется выражением:
.
О надежности теста можно судить по устойчивой картине корреляции.
Важным показателем теста является его предметная чистота. Предметная чистота обнаруживается с помощью гомогенного теста (гомогенность, то есть обоснованность). Отрицательная корреляция говорит об отсутствии чистоты тестовых заданий.
Девятый шаг: Подсчет корреляции заданий с суммой баллов по тесту (показатель валидности).
Показатель валидности характеризует бисериальное распределение, которое находится в пределах:
.
Бисериальное распределение часто заменяют, точечным бисериальным распределением, которое описывается выражением
,
где
-
среднее значение баллов студентов,
выполнивших j-задания,
-
среднее значение баллов студентов, не
выполнивших j-задания,
Sx - статистическое отклонение,
N1 - число студентов, верно выполнивших задания,
N0 - число студентов, неверно выполнивших задания.
У хорошего теста показатель валидности 0,5…0,9. При отрицательном показателе тест убирают, а при низком (близком к нулю) дорабатывают.
Существуют ряд других методов при подсчете валидности5 и других характеристик теста: индекса дискриминации, оценка дифференциации, симметричности в нормальном распределении баллов и др.
