Место подготовки тестирования при разработке курса до
В первую очередь разработчику курса ДО необходимо предполагать, что тестирование не связано только с итоговым контролем знаний. Более того, именно в условиях ДО (когда учащийся сам может и определять очередность модулей и привлекать альтернативные разработки других авторов), важно предусмотреть две формы контроля остаточных знаний:
Проверка минимальных знаний, необходимых для изучения нового курса
Проверка знаний, приобретенных в ходе изучения нового курса, необходимых для знакомства с другими курсами
Избежать излишних трудозатрат и дублирования поможет деятельность учебно-методических комиссий, а задача разработчиков все вопросы на контроль остаточных знаний размещать в общем банке данных и настаивать, чтобы авторы курсов для вводного контроля использовали только этот банк.
Любой вопрос из банка данных по проверке остаточных знаний должен сопровождаться ссылками на ресурс, который учащемуся необходимо повторить. Простая констатация факта ошибочного ответа недостаточна. Но и не нужен подробный комментарий (он за рамками нашего курса) – нужна лишь ссылка к предшествующему курсу.
Дополнительно может применяться «превентивный» тест (тест-анонс) – он может предварять как отдельные темы, так и весь курс, иллюстрируя то, какие именно знания и навыки получит обучающийся в результате освоения курса. Здесь необходимы не просто «интересные» задачи (моделирование конкретной ситуации), но и привлекательные, эмоционально яркие формы подачи материала (включение мультимедийных объектов (графика, видео, аудио) в текст вопроса). Превентивные тесты должны содержать анонс материалов, с которыми предстоит познакомиться в каком-то разделе или во всем курсе.
В ходе изучения курса учащемуся должен быть предложен самоконтроль. Желательно, чтобы вопросы из теста на самоконтроль сопровождались более подробными комментариями, а не указанием оценки.
Наконец, следует предложить учащемуся процедуру текущего и итогового контроля его знаний. Здесь должна учитываться не только точность ответа, но и его время, сложность и важность каждого вопроса среди других. Необходимо предусмотреть процедуры индивидуального подбора тестовых заданий. С точки зрения комментариев по итогам тестирования – они могут отражаться в обобщенном виде (важна лишь оценка, желательно, с выделением результатов в отдельных блоках), но не следует характеризовать ответы по конкретным вопросам (в отличие от вводного контроля и самоконтроля). Кроме того, тесты промежуточного и итогового контроля часто оформляются с ограничением прав доступа по времени и месту тестируемого (например, нельзя сдать тест досрочно или вне аудитории, где может быть обеспечена надежная идентификация тестируемого). Последнее обстоятельство (сочетание с традиционными формами контроля за ходом тестирования) особенно значимо для тестов итогового контроля – как уже было отмечено выше, имеет смысл предоставлять доступ к тестам итогового контроля только из ВУЗа или доверенных центров тестирования (сертификации). Сами ВУЗы могут обеспечивать поддержку территориально распределенного тестирования (примером может служить «апрельское тестирование» в ВУЗах РФ).
Таким образом, при разработке курса ДО, необходимо предполагать следующие разновидности тестов с учетом их места в курсе и в учебном процессе в целом:
Превентивные тесты (анонс решения конкретных ситуаций)
Доступны для незарегистрированных (потенциальных) учащихся
Шире используют мультимедийные формы подачи материала при формулировании конкретной ситуации или при сообщении об ошибки
Сообщения об ошибках – спровоцированы (нет «правильных» ответов), цель каждого вопроса – подсказать, какие методики предстоит изучить, чтобы отвечать правильно (анонс курса или его части)
Вводный контроль
o Предшествует изучению курса
o Основан на общем банке данных (по существу, он компилируется разработчиком, а не создается)
o Должен содержать ссылки к другим курсам (при неверном ответе)
o Может быть инициирован повторно, но обязателен положительный результат
Самоконтроль
o Инициируется (в т.ч. и повторно) и проверяется учащимся, не обязателен положительный результат
o Предполагается, что он предшествует тестам промежуточного или итогового контроля, содействуя адаптации учащегося к программе тестирования и для предварительной самопроверки
o Должен содержать подробные комментарии (при неверном ответе)
Промежуточный и итоговый контроль
o Завершает курс (итоговый) или его часть (промежуточный)
o Требует авторизации, зачастую накладывает ограничения на тестируемого по времени и месту проведения теста
o Учитывается не только точность ответа, но и его время
o Предполагает индивидуальный подбор списка вопросов
o Результаты представляются учащемуся в обобщенном виде – оценка, но желательно структурировать оценку по тематическим блокам (в то же время разработчику курса и, особенно, тьютору важно видеть подробную оценку по каждому вопросу отдельно)
o Итоговое тестирование желательно осуществлять при сочетании традиционных форм контроля за ходом тестирования в ВУЗе или доверенном центре тестирования (сертификации)
Контроль остаточных знаний
o Осуществляется за рамками курса (используется при компиляции вводного контроля других курсов)
o Не оформляется как тест, а только как банк вопросов, пригодных для компиляции тестов (см. Вводный контроль)
Проектирование теста
Несложно заметить, что тесты на различных этапах обучения могут использовать некие общие элементы (вопрос и ответ, например), а другие элементы (такие как комментарий) добавляются опционально в зависимости от конкретной задачи теста в учебном процессе. Значит, следует организовать разработку тестов таким образом, чтобы избегая дублирования, создать множество различных приложений на базе неких простых «строительных конструкций» - вопрос, ответ, комментарий, блок, цепочка, ключ.
«Строительные конструкции». Вопрос
Вовсе не следует готовить много разных тестов с различными вариантами вопросов (для контроля остаточных знаний, для самотестирования, для итогового контроля и т.п.). Эффективнее разработать банк вопросов. Любой вопрос может содержать как собственный список ответов, комментариев или ссылок, так и использовать общие «строительные конструкции», что облегчает создание вариативных однотипных вопросов, особенно в рамках одной тематической области. Подробнее типы вопросов будут рассмотрены в практикуме. А пока ограничимся общей чертой всех вопросов – наличием некоего текста с формулировкой.
«Строительные конструкции». Ответ
Ответ должен быть формально предопределен шаблоном. Это определяет и форму, с которой тестируемый будет взаимодействовать. Выбор шаблонов ограничен рамками HTML. Подробнее примеры форм обсуждаются в практикуме с конкретными примерами для разных типов вопросов. Здесь же остановимся на самых популярных формах – выбор ответа из списка (выбор единственного варианта и аддитивный выбор нескольких элементов списка).
Выделим в таких вопросах общую конструкцию – закрытый список всех возможных ответов (в т.ч. «неправильных»). Такой список может быть общим для нескольких вопросов одновременно, что повысит технологичность разработки, снизит затраты времени и разработчика, и тьютора, а, главное, окажется более легким для студента (с точки зрения техники ответа, а не с точки зрения содержания, конечно).
Кроме списка всех возможных ответов, каждому вопросу можно сопоставить множество правильных ответов для автоматизации контроля. Внимание, правильных ответов можно не «назначать» вовсе – это очень удобно для превентивного анонс-тестирования. Однако, для остальных форм контроля множество верных ответов придется указать. В простейшем случае у вопроса, требующего единственный ответ из списка – только один правильный ответ (но необязательно – можно указать несколько и даже с градацией «правильности»).
Закрытый список ответов может быть общим для нескольких вопросов теста, а вот множество правильных ответов придется указать индивидуально для каждого из вопросов.
Упрощенно, будем считать, что правильный ответ один из некоторого закрытого списка. Мы можем разрешить программе тестирования произвольно менять последовательность ответов в списке, скрывая правильный ответ на различных местах в списке. Более того, список всех ответов может быть несколько избыточен и тогда правильный ответ будет появляться среди разных кандидатов, а не среди одних и тех же.
Такая «уловка» не позволит механически запоминать верные ответы (по номерам, например) при самоконтроле. И, следовательно, позволит один и тот же вопрос использовать в разных формах контроля и для разных студентов.
Важное замечание – разработчику не следует идентифицировать вопросы или ответы – это делает программа тестирования. Причем, на экране тестирующихся порядок вопросов и ответов может быть разным и нумерация будет разной, а при контроле тьютором результатов тестирования все данные будут обобщены в сопоставимой форме.
Однако, такая «уловка» весьма прозрачна. Разработчику придется уделить внимание группировке не только ответов, но и самих вопросов.
«Строительные конструкции». Блок
Разные вопросы могут быть порождены вокруг одной общей формулировки. Логично объединить такие вопросы в блок, сосредоточив на уровне блока все общие элементы вопросов, что упростит разработку вариативных тестов.
Однако, вопросы могут быть объединены в блоки и при разных формулировках. Желательно лишь соблюдать принцип общей тематической направленности. Смысл блоков еще и в том, что внутри каждого блока вопросы могут выбираться программой в произвольной последовательности. Более того, при наличии избыточности (как и в примере с ответами выше), разные тестируемые могут увидеть разные вопросы (да еще в разной последовательности и с разным списком ответов)…
Чаще всего выбирают один из вариантов объединения вопросов в блоки:
Тематически близкие, но с разными (даже общими) формулировками с расчетом на перестановку вопросов при тестировании. В этом случае, избыточность невысока, а общее число вопросов – не менее 5. Вполне эффективно разрешить программе тестирования задать 10 вопросов из 11. Иногда весь тест (особенно в промежуточном контроле) – один блок. Верная технология разработки позволяет легко добиться высокой вариативности при небольшой избыточности.
Однородные вопросы (расхождение только в тексте каждого вопроса при наличии общей формулировки; возможен даже совпадающий список ответов). В этом случае, ставку делают на избыточность. Программе тестирования обычно разрешают задать не более 1 вопроса из блока при общем числе вопросов в блоке от 2 до 5.
Естественно, если в тест нужно объединить несколько блоков, программе тестирования можно разрешить произвольно переставить сами блоки (внутри которых могут быть произвольно переставлены вопросы…). Впрочем, выделение блоков гарантирует, что каждая тема, чей блок оказался в тесте, обязательно будет опрошена, какой бы высокой не оказалась избыточность конкретного теста.
«Строительные конструкции». Цепочка (вариант)
При желании можно маркировать вопросы внутри блоков особым признаком включения их в целевые цепочки. Тогда программа тестирования на каждом этапе будет оперировать только с теми вопросами, которые соответствуют выбранному варианту (сквозному для всех блоков).
На этой основе можно строить логически связанные задания. Например, имеется описание конкретной ситуации с 3 вариантами исходных данных, по которым мы располагаем 4 разными вопросами (например, нужно оценить комплекс решений по каждой конкретной ситуации). Достаточно просто объединить все разновидности вопросов по конкретным ситуациям в цепочки (варианты), а сами конкретные ситуации по тематике вопросов объединить в блоки. Получится 4 блока по 3 вопроса в каждом, отмеченных вариантами, связанными с конкретной ситуацией. В первом задании программа выберет для тестируемого конкретную ситуацию (вариант) и в остальных заданиях выбор варианта окажется предопределен – все вопросы будут касаться одной и той же конкретной ситуации.
Другое применение цепочек – запрет выбора определенных заданий при некоторых формах контроля. Например, во время самоконтроля можно запретить выбирать часть вариантов, зато при итоговом контроле разрешить выбирать все. Таким образом, при итоговом контроле студент столкнется как со знакомыми вопросами (если он действительно прошел самоконтроль), так и с незнакомыми.
«Строительные конструкции». Комментарий, ссылка
Комментарий возникает при неверном ответе. Естественно, разные вопросы могут апеллировать к общему комментарию. Комментарий должен не сосредоточить внимание на правильном ответе, а объяснить его, можно (и лучше) даже не называя правильного ответа.
Ссылка также возникает при неверном ответе. Содержит точное указание на раздел курса ДО, где объясняется задача. Ссылка не заменяет комментария! А комментарий не повторяет фрагмент курса. Комментарий раскрывает решение конкретной задачи, а ссылка помогает найти общий материал, раскрывающий подходы к решению. Как и в случае с комментарием, одна ссылка может служить сразу нескольким вопросам.
Если рассмотренные ранее «строительные конструкции» (вопросы, ответы, блоки и цепочки) проявляли себя во время тестирования в обязательном порядке, то комментарий и ссылка могут оказаться не видны тестируемому вообще. Во-первых, они возникают только как реакция на ошибку. Во-вторых, при ошибке они могут появиться только при разрешении тьютора, а оно определяется тем, какую форму контроля выполняет тест (например, при самоконтроле весьма желателен комментарий, а при вводном контроле – ссылка, а при итоговом контроле – нежелателен ни комментарий, ни ссылка).
«Строительные конструкции». Банк вопросов, тест, ключ
Все строительные конструкции помещаются в банк данных, обеспечивающих их поиск, редакцию и включение в различные тесты. При этом каждый вопрос рассматривается как публикация и сохраняет указание автора и права доступа. Разработчик курса должен однако выделить группу вопросов без ограничений прав доступа – это вопросы для контроля остаточных знаний, они должны быть доступными всем разработчикам для создания вводных тестов. Желательно представлять банк данных контроля остаточных знаний в учебно-методическую комиссию.
Компиляция вопросов в блоки, а блоков в тест завершает создание инструмента контроля. На этом уровне (теста) может быть жестко задано количество фактически контролируемых вопросов (т.е. сколько избыточных останутся для тестируемого «за кадром»), включение комментариев или ссылок (и вообще управление реакцией на ответ), контроль времени, шкалу оценки, время и место тестирования (интернет-тестирование можно ограничить и географически), доступ (можно ограничить круг потенциальных участников тестирования) и другие общие характеристики теста.
Но эффективнее составить для одного теста несколько ключей. Ключ – это набор общих характеристик теста. Обучающийся выбирает, в действительности, не тест, а именно ключ. Таким образом, один и тот же тест может использоваться для разных форм контроля – с разными ключами. Также как одни и те же вопросы могут включаться в разные тесты. Исключение представляют вопросы для превентивного анонс-тестирования – в силу того, что они зачастую вообще не содержат правильных ответов, зато отягощены мультимедийными формулировками и, следовательно, не могут быть использованы для, например, итогового контроля.
Тест с вычисляемыми ответами
Ниже в практикуме представлены ссылки для знакомства с теми формами ответов, шаблоны которых определяет HTML. Однако, хотелось бы обратить внимание на вычисляемые ответы, т.к. они по своей внешней форме напоминают обычные, но таковыми не являются. Простейший механизм создания таких тестов – использование переменных. Предположим, нам необходимо проверить умение студентов применять формулу расчета цены акции в зависимости от срока выплаты дивидендов или проверить знание таблицы умножения. Нам не хотелось бы создавать множество вопросов с разными условиями, мы ограничимся одним: «для X и Y укажите значение X*Y», нам придется указать границы вариативности X и Y, а вместо правильного ответа указать формулу. Ниже текста вопроса компьютер при тестировании укажет имена переменных и их значения, выбранные случайным образом.
Тест с неизвестными ответами. Апелляция. Оценки
Естественно, кроме банка данных с вопросами, ход тестирования автоматически отражается в базе данных ответов, где указывается (для тьютора, но не для студента) идентификатор вопроса, ответ и его оценка, затраченное время и оценка, скорректированная с учетом времени, сведения о доступе к программе тестирования (ip-адрес, идентификатор браузера и др. доступные характеристики протокола HTTP), а также предусматривается место для ремарки тьютора и принудительного выставления исправленной оценки (в случае апелляции).
Такая особенность позволяет создавать вопросы вообще без правильных ответов с целью их дальнейшей проверки тьютором.
Но тьютор не сможет исправить оценку автоматического тестирования, она остается неизменной – зато при подведении итогов учитывается в первую очередь именно оценка тьютора (если есть).
Это позволяет при необходимости реализовать механизм апелляций. Впрочем, данная процедура уже за рамками разработки теста. На уровне разработки, достаточно лишь знать о названной возможности.
Типы вопросов
Данный раздел посвящен иллюстрациям различных типов вопросов для тестирования. Начнем с тех, которые назывались при обсуждении проектирования теста.
Выбор ответа из закрытого списка возможных вариантов
Закрытый список всех допустимых ответов, из которых может быть выбран единственный вариант представляется в рамках HTML одним из двух вариантов:
Вопрос с выбором одного ответа из закрытого списка вариантов ответов. Вариант 1 – весь список на экране с отметкой выбора слева. См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test01.html
Вопрос с выбором одного ответа из закрытого списка вариантов ответов. Вариант 2 – меню с прокруткой (сейчас не реализован, но используется в ряде курсов ДО – приводится справочно). См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test02.html
Выбор неограниченного числа ответов из закрытого списка возможных вариантов
Вопрос с выбором нескольких ответов из закрытого списка вариантов ответов. Вариант 1 – весь список на экране с отметкой выбора слева (визуально отличается от выбора одиночной отметки). См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test03.html
Вопрос с выбором нескольких ответов из закрытого списка вариантов ответов. Вариант 2 – меню с прокруткой (визуально не отличается от выбора одиночной отметки, необходимо использовать клавишу “Insert” или выбирать варианты мышкой при нажатой клавише “Ctrl”. Cейчас не реализован, но используется в ряде курсов ДО – приводится справочно). См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test04.html
Открытый вопрос – указание числа, группы чисел, строки или слова
Данный вопрос не требует подготовленного списка ответов, но даже на примере одиночного числа можно предсказать ряд проблем – например, варианты округления и десятичная точка, а также разделители разрядов могут вызвать ошибку при считывании ответа (сравним разные записи одного числа: «1,234,567.89», «1234567.89», «1234567,89» - варианты различаются обозначением десятичной точки и наличием разделителей разрядов). В ряде оболочек ДО производится сравнение ответа с шаблоном с предуведомлением тестируемого об ошибке при записи ответа. Это особенно важно для текстовых вопросов, т.к. ответы «правильно», «Правильно» и «пpaвильнo» - разные (первый и второй отличаются использованием прописной буквы, а третий коварно использует латынь вместо русских букв “p”, “a” и “o”). Рекомендуется очень четко формулировать, как именно пользователь должен указать ответ.
Например, «преобразуйте ставку процента, указанную за месяц (1%) с условием капитализации, таким образом, чтобы рассчитать ставку процента за год – ответ укажите в процентах с точностью до сотых без указания знака «%», в качестве десятичной точки используйте только точку «.» - например «11.75»» См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test05.html
Вопрос на указание точки графического изображения
Реально контролируется указание точки в пределах одного или нескольких прямоугольников в пределах графического элемента (который также должен представлять из себя прямоугольник). Нельзя использовать изображение, любая из границ которого достигает 1000 точек (пикселей). Кстати, самые распространенные режимы представления графики просто не позволят увидеть на экране целиком изображение, превышающее 1000 точек. С точки зрения пользователя ответ указывается простым щелчком мышки в выбранной точке, а с точки зрения разработчика границы правильного ответа задаются числами в формате «XXX.YYY – XXX.YYY», где первое и второе число задают координаты противолежащих углов прямоугольника - от верхнего левого до правого нижнего, но отсчет координат исчисляется от левого верхнего угла изображения. См. http://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test06.html
Другие типы вопросов (текст, кнопки, карты, реакция на клавиши и др.)
Другие типы вопросов представляют или проблему для описания правильного ответа (например, открытый блок текста – сравните с замечанием выше о строке текста), или находятся за границами «стандартного» HTML (даже предыдущий тип вопроса не сможет быть адекватно отображен всеми браузерами). Действительно, электронные тесты используют более широкий выбор типов вопросов, но не следует переносить все возможности на электронное тестирование в среде Интернет. Здесь вопросы тестов должны быть более жестко типизированы, что совсем не ограничивает разработчика. Например, как можно преобразовать вопрос с выбором графической области в вопрос с меню? Достаточно, чаще всего, явно «разметить» зоны на рисунке, подписать их и предложить выбор именованных зон.
Оформление вопросов и комментариев. Мультимедийные объекты
При желании достаточно просто можно оформить включение произвольного мультимедийного объекта в Ваш вопрос или комментарий. Общая последовательность действий такова:
1. Создайте для всех мультимедийных объектов особую группу и разработайте правила именования файлов (желательно использовать только латинские буквы и цифры). Для графических, аудио и видео объектов максимально уступайте качеству, используйте наивысшую компрессию – это принципиально важно для мультимедийных объектов, распространяемых через Интернет. Следите за типами файлов (лучше использовать только наиболее универсальные форматы):
jpg, gif – для графических объектов
wav, mp3 – для аудио
avi, mpeg – для видео
rtf – для документов, аналогичных MS-Word (избегайте типа doc!)
pdf – для «оттисков» документов, когда важно сохранить разметку страниц
ppt – презентации (созданные в PowerPoint, например)
xls – электронные таблицы (весьма желательно без макросредств, переназначенных кнопок и иных инструментов, зависимых от настроек пользователя)
2. Включите всех разработчиков в новую группу и средствами файлового обмена в данной группе научите публиковать заранее подготовленные файлы
3. При необходимости добавить любой объект в текст вопроса или комментария – Вам достаточно будет скопировать ссылку на файл из группы разработчиков. Для этого войдите в файловый обмен, найдите нужный файл и из контекстного меню (щелчком правой кнопки мышки по ссылке к файлу) выберите функцию копирования ссылки (copy link location).
4. Вариант вставки зависит от объекта. Рассмотрим несколько приемов ниже
