1.4. Оценивание в рамках компетентностного подхода

Для реализации компетентностного подхода в обучении необходимо изменить методы и средства оценивания при аттестации обучающихся. Разработка надежных и валидных измерителей для оценивания компетенций требует выполнения ряда шагов:

• определение профессионально-специализированных компетенций вузовской части ОП с учетом ее профильной направленности;

• экспертная кластеризация компетенций;

• построение компетентностной модели подготовки бакалавра или магистра;

• планирование содержания измерителей;

• разработка заданий для компетентностных тестов либо других инновационных измерительных средств и их экспертиза;

• проведение оценочных процедур, сбор эмпирических данных на репрезентативной выборке обучающихся, первичная коррекция содержания и структуры измерителя;

• проведение факторного анализа эмпирических данных, их статистическая обработка, коррекция состава кластеров по данным факторного анализа;

• проведение анкетирования работодателей по результатам прохождения практик обучающимися или работы выпускников;

• оценка прогностической валидности измерителей, их надежности и конструктной валидности с помощью результатов анкетирования, рассматриваемых как внешний критерий для оценки прогностической валидности измерителей;

• повторная коррекция оценочных средств, их содержания, формы, числа заданий и оценочных рубрик для использования измерителей при аттестации.

Оценочные средства для компетентностного подхода разрабатываются на основе теории педагогических измерений, к ведущим принципам применения которой следует отнести:

• сочетание количественных и качественных уровней измерения;

• привлечение психодиагностических методик и специальной теории для оценивания изменений уровня сформированности компетенций;

• учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;

• обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной контекстными факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое влияние);

• обеспечение высокой конструктной, содержательной и прогностической валидности (обоснованности) результатов измерений;

• применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;

• применение лонгитюдных измерений в аттестационных процессах, переход к режиму мониторинга процесса формирования компетенций;

• применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);

• использование мета-анализа, факторного анализа и дисперсионного анализа для обработки и интерпретации данных о качестве подготовки обучающихся;

• сочетание внешних и внутренних экспертиз при аттестации.

2. Основные положения теории педагогических измерений

2.1. Понятийный аппарат теории педагогических измерений

Измерение - это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами, по результатам которой могут получаться как количественные, так и качественные оценки. Связь между количественными и качественными оценками устанавливается на основе традиционно сложившегося разделения их на две группы: классифицирующие или сравнительные оценки относят к категории качественных, метрические оценки считаются количественными. Качественные оценки всегда бывают менее точными по сравнению с количественными в силу способов и инструментов, применяемых для их получения.

В эмпирических науках все оцениваемые характеристики носят, в основном, латентный (скрытый) характер, препятствующий непосредственному измерению, в отличие от физических измерений, где присутствуют в большинстве своем вполне реальные объекты. В силу латентности оцениванию подвергаются не сами характеристики, а их эмпирические референты – наблюдаемые признаки характеристик. Выбор таких референтов в социальных науках происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в тщательном доказательстве, осуществляемом на основе экспертного и статистического анализа эмпирических результатов измерения.

Неизбежная латентность переменных измерения, в роли которых в образовании раньше выступали уровни освоения знаний, умений, навыков, а сейчас – уровни освоения компетенций, приводит к необходимости проверки адекватности полученных оценок концептуальной переменной (переменным) измерения (валидности) и точности (надежности) оценок.

Процесс педагогических измерений состоит из совокупности операций, позволяющих получить количественные или качественные оценки измеряемых характеристик. Правильная организация процесса педагогического измерения достаточно важна, поскольку любые нарушения стандартизированных условий проведения, обработки, анализа и интерпретации результатов измерения снижают обоснованность и точность получаемых оценок. Особенно важно качество получаемых результатов измерений в тех случаях, если речь идет об итоговом контроле, результаты которого связаны с принятием важных административных решений, например, при аттестации выпускников или оценке эффективности деятельности учебных заведений. Тогда объектом измерения становятся знания, умения навыки и компетенции, которые называют обобщающим термином – учебные достижения - и сравнивают с требованиями ФГОС при принятии аттестационных решений.

В рамках компетентностного подхода важнейшее место занимает оценка конструктной валидности, строящаяся на доказательстве адекватности эмпирических референтов концептуально выделенной переменной (переменным) измерения. Таким образом, в практической работе по созданию фондов компетентностных оценочных средств анализ конструктной валидности находит свое отражение в работе по проведению доказательства того, что выбранные тестовые задания позволяют измерить именно те компетенции, которые создатель теста намеревался оценить. Никто не будет сомневаться в том, что набор заданий, в которых требуется перемножить числа, действительно проверяет навыки умножения. Значительно труднее разобраться в том, какую переменную оценивают полидисциплинарные задания, характерные для компетентностных тестов. В последнем случае для выявления конструктной валидности приходится привлекать факторный и корреляционный анализ, оценивать число измеряемых переменных, сопоставлять содержательную трактовку результатов измерения с результатами, полученными по давно существующим и зарекомендовавшим себя оценочным средствам.

Измерительный инструментарий включает два компонента. Один из них - само измеряющее устройство, роль которого при измерениях в большинстве случаев отводится тесту, а второй – шкала для интерпретации результатов измерения. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих надежные и валидные оценки концептуально выделенной переменной (переменных) измерения. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.

Многие преподаватели, никогда не принимавшие участия в процессе создания теста и не имеющие специальной подготовки по теории педагогических измерений, путают тесты с наборами контрольных заданий, необоснованно полагая, что достаточно последние представить в форме с выбором ответа, как сразу получится педагогический тест. Однако узнать тест это или набор обычных контрольных заданий в специфической форме можно только после анализа результатов их апробации на представительной выборке обучающихся, завершающейся оценкой надежности и валидности полученных результатов измерения. Таким образом, радикальное отличие теста от обычных заданий состоит вовсе не в форме представления вопросов и ответов, а в опоре на теорию педагогических измерений и статистические методы анализа качества полученной информации по результатам измерения.