3.4. Компетентностные тесты.

Основные направления работ по созданию фондов измерителей для оценки компетенций связаны с анализом их конструктной валидности и коррекции по трудности заданий компетентностного теста для их соответствия определенным диапазонам компетентности обучающихся.

Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально-ориентированного подхода. Компетентностные тесты для итоговой аттестации обучающихся по завершению цикла дисциплин должны содержать компетентностно-ориентированные задания со свободно конструируемым ответом, желательно полиисциплинарного характера, выявляющих способность обучающихся по применению умений в профессиональных ситуациях. Общая длина каждого теста должна быть не менее 20 - 25 заданий.

К тестам должны прилагаться оценочные шкалы (рубрики) для работы экспертов при проверке заданий со свободно конструируемым ответом. Рубрики разрабатываются для каждого задания. Желательно, чтобы все задания в одном тесте имели одинаковое число оценочных градаций с тем, чтобы задания были равновесомы. В противном случае, когда хотят придать больший вес отдельным заданиям в силу их значимости, число градаций в рубриках для этих заданий может быть увеличено. По принятым нормам, диктуемым здравым смыслом, опытом работы экспертов и анализом эмпирических данных тестирования, максимальное число градаций должно быть не более трех-четырех. Для обоснования правдоподобности каждой градации в рубрике необходимы эмпирические результаты, полученные путем апробации теста на представительной выборке обучающихся;

В целом, можно выделить основные этапы работ по созданию компетентностного аттестационного теста:

• идентифицировать цель измерения, связав ее с функциями оценивания и областью применения его результатов;

• сформулировать перечень оцениваемых компетенций;

• разработать кластерную модель оцениваемых компетенций, установив их иерархию в соответствии со значимостью;

• создать описание признаков проявления кластеров компетенций или отдельных компетенций;

• определить подход к созданию теста и интерпретации результатов измерения (как правило, критериально-ориентированный или смешанный);

• определить содержание компетентностного теста и разработать его спецификацию (пропорции и структура содержания, наличие субтестов, их число, планируемые к проверке компетенции и виды деятельности, в которой они проявляются, включая признаки проявления);

• запланировать виды компетентностно-ориентированных заданий, их соотношение, пропорции и временные интервалы выполнения;

• разработать компетентностно-ориентированные задания в соответствии со спецификацией;

• разработать оценочные рубрики и подготовить рекомендации для экспертного анализа признаков проявления компетенций;

• определить стратегию расположения заданий (в соответствии с кластерной структурой компетенций, периодами изучения, экспертными оценками трудности или дисциплинарной принадлежностью);

• отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления;

• провести экспертный анализ качества содержания заданий и теста;

• провести экспертизу формы заданий и оценочных рубрик;

• переработать содержание и формы заданий по результатам экспертизы;

• сформировать представительные выборки обучающихся, стратифицированные в соответствии с основными факторами апробационного тестирования;

• разработать инструкции для обучающихся и для преподавателей, проводящих апробацию теста;

• провести апробационное тестирование для сбора эмпирических результатов;

• провести статистическую обработку результатов апробации;

• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

• провести чистку теста и добавить новые за­дания для улучшения характеристик теста (оптимизации труд­ности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если есть в этом потребность);

• оценить надежность и валидность (содержательную, конструктную, прогностическую) результатов применения теста;

• установить критерии выполнения теста, построить шкалы и итоговую шкалу для оценки результатов обучающихся.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпи­рических данных. Как правило, стандартизированные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3 – 4 апробации, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне ва­жен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (Iteman, ConQuest, Testan и др).

Компетенции характеризуют те способности, которые проявляются после окончания обучения. Поэтому при оценивании компетенций необходимо убедиться в прогностической валидности полученных оценок, которые должны с высокой вероятностью предсказывать успехи дальнейшей профессиональной деятельности. Оценить прогностическую способность результатов измерения можно с помощью анализа корреляционных связей между оценками уровня освоения компетенций и характеристиками профессиональной деятельности обучающихся, которые проявляются в процессе прохождения практик, выполнения квалификационных выпускных работ и т.д.

Конечно, основную трудность в разработке компетентностных тестов представляют этапы выбора переменных измерения - компетенций, планирования содержания компетентностного теста и разработки компетентностно-ориентированных заданий. Если эти этапы не удались, то вся остальная работа будет просто бесполезной. Поэтому планирование содержания на основе спецификации теста подробно рассматривается в следующем разделе.

Таким образом, компетентностные тесты для итоговой аттестации должны разрабатываться в рамках критериально-ориентированного подхода в соответствии перечисленными этапами с различными уровнями детализации: либо для каждой компетенции, либо для каждого кластера компетенций. Такие тесты включают компетентностно-ориентированные задания, которые на определенном уровне общности можно считать одномерными, в первом случае, для каждой компетенции, а, во втором случае, для каждого кластера компетенций.

При более детализированном подходе к разработке теста для кластера строят от 2 до 5 шкал, в зависимости от числа, входящих в него компетенций. Для этого используются методы факторного анализа и многомерного шкалирования, позволяющие разнести результаты тестирования испытуемого по отдельным шкалам, выразив их в баллах каждой шкалы, а затем суммировать результаты с весовыми коэффициентами или без них при необходимости получения одного общего балла. Тогда тест для кластера будет состоять из отдельных субтестов, число которых равно числу компетенций, входящих в кластер. Выбор весовых коэффициентов при суммировании баллов по отдельным шкалам производится экспертно или с помощью регрессионного анализа, который позволяет взвесить компетенции в соответствии с их значимостью для будущей профессиональной деятельности выпускников вузов. Возможен еще более глубокий анализ результатов тестирования, когда учитывается междисциплинарный характер самих компетенций и факторный анализ позволяет структурировать данные по каждой компетенции.