- •Содержание
- •Введение
- •1. Компетентностный подход в оценке качества результатов обучения
- •1.1. Компетентность и компетенции, понятийный аппарат
- •1.2. Кластеризация компетенций
- •1.3. Паспортизация компетенций
- •1.4. Оценивание в рамках компетентностного подхода
- •2. Основные положения теории педагогических измерений
- •2.1. Понятийный аппарат теории педагогических измерений
- •2.2. Надежность педагогических тестов, ее виды и оценка
- •2.3. Валидность педагогических тестов, ее виды и оценка
- •3. Основные подходы к разработке измерителей, их виды и этапы разработки
- •3.1. Подходы к интерпретации результатов педагогических измерений
- •3.2. Нормативно-ориентированный подход и стандартизация тестов
- •3.3. Критериально-ориентированный подход в педагогических измерениях
- •3.4. Компетентностные тесты.
- •3.5. Портфолио
- •3.6. Кейс-измерители
- •4. Содержание компетентностных тестов, планирование, отбор и экспертиза качества
- •4.1. Целеполагание и планирование содержания аттестационного теста
- •4.2. Общие принципы отбора содержания аттестационных тестов
- •4. 3. Экспертиза качества содержания аттестационных тестов оценочных рубрик
- •5.Формы тестовых заданий
- •5.1. Общие требования к заданиям и классификация форм
- •5.2. Задания с множественным выбором
- •5.3. Задания с конструируемым ответом
- •5.4. Задания на установление соответствия
- •5.5. Задания на установление правильной последовательности
- •5.6. Компетентностно-ориентированные задания
- •5.7. Сравнительная характеристика форм тестовых заданий
- •5. Задания на установление соответствия
- •6.Критерии оценки уровня освоения компетенций
- •6.1. Общие подходы к установлению критериев (стандартов) выполнения компетентностных тестов
- •6.2. Общие шаги в установлении критериев выполнения тестов
- •6.3 Выбор метода установления стандарта
- •Метод Недельски (Nedelsky)
- •Метод Эбеля
- •Библиографический список
6.2. Общие шаги в установлении критериев выполнения тестов
Обращение к цели создания теста на этапах установления и интерпретации стандартов его выполнения обычно связано с описанием конструктов, роль которых при аттестации обучающихся в соответствии с требованиями ФГОС отводится компетенциям. Поскольку такие описания необходимы для работы экспертов по установлению стандартов, разработка паспортов компетенций является важным этапом предварительной работы в любой устанавливающей стандарт процедуре. Экспертиза составляет обязательный первый этап применения любого метода, поэтому ответственные за разработку компетентностных тестов должны обеспечить ясные и полные паспорта компетенций, а также организовать отбор и обучение экспертов. Главные принципы в работе экспертов: независимость суждений и четкое следование стандартизированным инструкциям по применению метода установления стандарта выполнения теста.
В табл. 6.2.1 приводится несколько общих шагов, которые типичны для всех методов установления стандартов. В процессе применения этих методов необходимо выбрать названия уровней освоения компетенций, дать описания уровней освоения на операциональном языке в виде признаков проявления компетенций, организовать отбор и обучение экспертов для применения методов, обеспечить все виды информации, необходимые для участников процесса установления стандарта, а также провести эвалюацию процесса и результатов деятельности по установлению стандарта.
Таблица 6.2.1
Общие шаги в установлении стандартов выполнения тестов
Шаг |
Описание |
1 |
Выберите большую и представительную группу испытуемых |
2 |
Выберите метод, устанавливающий стандарт; подготовьте учебные материалы и повестку дня для встречи и обучения экспертов по установлению стандарта |
3 |
Выберите число уровней и подготовьте описания уровней в паспортах компетенций |
4 |
Обучите экспертов использовать метод, устанавливающий стандарт |
5 |
Соберите экспертные оценки по проверке заданий или другие данные в том числе, результаты апробации, получите описательную (итоговую) статистику (информацию) и обеспечьте обратную связь экспертов по оценке заданий с авторами заданий |
6 |
Проведите обсуждение описательной/итоговой информации, полученной при апробации теста на представительной выборке испытуемых, с авторами заданий и экспертами по установлению стандартов |
7 |
Обеспечьте возможность участников работ произвести обсуждение результатов работы экспертов по установлению стандартов |
8 |
Обеспечьте выбор согласованных стандартов выполнения теста, принятых всеми участниками работ и администрацией |
9 |
Проведите эвалюацию процесса установления стандарт, включая сбор эмпирических доказательств согласованности мнений участников процесса установления стандартов |
10 |
Соберите документацию по процессу установления стандарта, обосновывающую валидность полученных стандартов выполнения теста |
Процесс установления стандартов занимает определенное место в общем цикле разработки теста, как показано в табл. 6.2.2.
Таблица 6.2.2
Шаги по разработке теста и сообщению его результатов
Номер шага |
Описание |
1 |
Установите и разъясните цель разработки теста |
2 |
Установите перечень разделов содержательной области (дисциплин) и компетенции, которые будут проверены в тесте |
3 |
Выберите число уровней освоения компетенций и обозначьте их. Разработайте в соответствии с этими уровнями паспорта компетенций, заложенных в образовательных стандартах |
4 |
Выберите форму заданий и разработайте спецификацию теста, определите его длину и планируемых участников работ. |
5 |
Разработайте задания и оценочные рубрики к ним |
6 |
Проведите экспертизу и коррекцию заданий (редактирование формулировок, оценка соответствия спецификации, оценка дифференцирующей способности рубрик и т.д.) |
7 |
Сформируйте представительную выборку испытуемых. Проведите апробацию заданий и рубрик |
8 |
Проведите обработку и анализ результатов апробации заданий. |
9 |
Проведите коррекцию заданий. Сформируйте банк заданий |
10 |
Соберите варианты теста согласно спецификации |
11 |
Предъявите испытуемым сформированные варианты теста (возможно с дополнительными или скорректированными заданиями) |
12 |
Установите стандарты выполнения, пороговую оценку (оценки) |
13 |
Оцените предварительно результаты выполнения заданий; проверьте оценочные ключи |
14 |
Оцените результаты тестирования; примените стандарты, постройте шкалу |
15 |
Сообщите оценки различным пользователям |
16 |
Оцените тест, его характеристики качества |
17 |
Обновите выборку заданий, пересмотрите процедуры разработки теста и т.д.: повторите Шаги 5-10, 12-16. |
Хотя установление стандартов включено в таблицу на шаге 12, но предварительная подготовка к этой процедуре начинается еще на шаге 3 и на шаге 4, когда принимается решение относительно формы заданий, и даже еще раньше на шаге 1, когда формулируется цель создания теста. Возможны варианты использования методов выбора пороговых баллов без эмпирических результатов выполнения тестов до их предъявления. Тогда этап установления стандартов можно перенести на шаг 11.