- •Содержание
- •Введение
- •1. Компетентностный подход в оценке качества результатов обучения
- •1.1. Компетентность и компетенции, понятийный аппарат
- •1.2. Кластеризация компетенций
- •1.3. Паспортизация компетенций
- •1.4. Оценивание в рамках компетентностного подхода
- •2. Основные положения теории педагогических измерений
- •2.1. Понятийный аппарат теории педагогических измерений
- •2.2. Надежность педагогических тестов, ее виды и оценка
- •2.3. Валидность педагогических тестов, ее виды и оценка
- •3. Основные подходы к разработке измерителей, их виды и этапы разработки
- •3.1. Подходы к интерпретации результатов педагогических измерений
- •3.2. Нормативно-ориентированный подход и стандартизация тестов
- •3.3. Критериально-ориентированный подход в педагогических измерениях
- •3.4. Компетентностные тесты.
- •3.5. Портфолио
- •3.6. Кейс-измерители
- •4. Содержание компетентностных тестов, планирование, отбор и экспертиза качества
- •4.1. Целеполагание и планирование содержания аттестационного теста
- •4.2. Общие принципы отбора содержания аттестационных тестов
- •4. 3. Экспертиза качества содержания аттестационных тестов оценочных рубрик
- •5.Формы тестовых заданий
- •5.1. Общие требования к заданиям и классификация форм
- •5.2. Задания с множественным выбором
- •5.3. Задания с конструируемым ответом
- •5.4. Задания на установление соответствия
- •5.5. Задания на установление правильной последовательности
- •5.6. Компетентностно-ориентированные задания
- •5.7. Сравнительная характеристика форм тестовых заданий
- •5. Задания на установление соответствия
- •6.Критерии оценки уровня освоения компетенций
- •6.1. Общие подходы к установлению критериев (стандартов) выполнения компетентностных тестов
- •6.2. Общие шаги в установлении критериев выполнения тестов
- •6.3 Выбор метода установления стандарта
- •Метод Недельски (Nedelsky)
- •Метод Эбеля
- •Библиографический список
3.6. Кейс-измерители
Кейс-измерители включают специальные проблемные задачи, в которых обучающемуся предлагают осмыслить реальную жизненную ситуацию, отражающую практическую проблему и актуализирующую определенный комплекс профессиональных знаний. Отличительной особенностью такой проблемы является отсутствие однозначных решений, побуждающее обучающегося искать пути оптимизации подходов, анализировать методы решений и аргументировать свой выбор метода. Таким образом, благодаря множеству частично правильных ответов на задание, которые могут соперничать по степени истинности, процесс преподавания сразу отклоняется от традиционной схемы, где обучающимся навязываются готовые истины и решения, и перемещает обучаемых в ситуацию проблемного поиска решения.
Кейс-измерителив отличие от обучающих кейсов имеют незначительную длину – не более 1 или 1,5 страниц для постановки проблемной ситуации и постановки вопросов, поэтому иногда их называют мини-кейсами.
Для кейс-измерителей можно предложить классификационную схему, приведенную на рис. 3.6.1.
Рис. 3.6.1. Кейс-измерители
При разработке кейс-измерителей в электронном или текстовом виде формируется модель, имитирующая профессиональную ситуацию. Работа обучающегося над кейсом может осуществляться как в самостоятельном режиме, так и в сотрудничестве с педагогом и другими обучающимися (в текущем контроле) с привлечением различного рода аргументов и литературных источников для обоснования собственных аргументов и выбора оптимального решения. Несомненным достоинством кейс-измерителей является их важная мотивирующая роль, побуждающая обучающегося к формированию собственных профессиональных позиций и самостоятельному приобретению дополнительной информации, формированию умений и навыков мыслительной деятельности, развитию способностей и умению самостоятельно перерабатывать большие массивы информации.
Введение слова «измеритель» в сочетано со словом «кейс» означает необходимость разработки не только самого проблемного задания, но и оценочной шкалы с градациями для работы экспертов, а также получения оценок надежности и валидности результатов обучающихся. Эта шкала должна пройти эмпирическую валидизацию в процессе разработки кейса, после чего оценочные рубрики следует публиковать вместе с каждым заданием кейса.
Следовательно, при разработке кейс-измерителей для аттестации необходимо статистическое обоснование качества измерений и специальных методов шкалирования результатов обучающихся. Поскольку речь идет о неоднозначных решениях, оценивание результатов выполнения заданий приходится проводить экспертными методами и разрабатывать специальные методики для работы экспертов. По результатам оценивания строится порядковая шкала, в которой откладываются ранговые баллы обучающихся.
Задание 1, взятое из зарубежной публикации (Теория измерения в действии. Кейс-стади и упражнения. Кеннет С. Шульц, Дэвид Ж. Уитни), типично для кейс-измерителя, поскольку в нем присутствуют основные его характеристики - ситуация, имитирующая профессиональную деятельность будущих психологов, имеющая проблемный характер, требующая анализа и допускающая неоднозначное решение
ЗАДАНИЕ 1
С профессором Гилбертом, занимающимся вопросами тестов учебных достижений в государственном университете одного из штатов в США, связались представители небольшого школьного округа, в котором было решено реализовать программу «Талантливые и одаренные». Школьный округ первоначально собирался использовать средний балл по тесту учебных достижений как единственное основание для отбора участников программы. Однако некоторые родители возразили, аргументируя это тем, что в школах существуют профильные классы с углубленным изучением предметов, поэтому учащиеся будут оцениваться на основе различных стандартов.
В связи с этим, было решено создать специальный комитет для разработки рекомендаций по определению критериев отбора участников. Этот комитет был возглавлен профессором Гилбертом. В состав комитета вошли школьные психологи, представители администрации школ, родителей, учителей и учеников. По первым результатам деятельности комитета были разработаны рекомендации по отбору участников программы, в соответствии с которыми предлагалось к средним баллам учащегося добавлять его письменную характеристику со стороны педагога, результаты психологического тестирования когнитивных способностей и креативности, баллы по Стэндфордскому тесту (версия 9), а так же рекомендательные письма администрации школ. Как вы уже могли догадаться, на следующем заседании школьного комитета были представлены эти рекомендации и разгорелась жаркая дискуссия.
Предложите свои варианты решения проблемы отбора, основываясь на рассмотрении вопросов:
Кто должен являться главным руководителем или организатором психологического тестирования в описанной ситуации?
Каков вклад профессора Гилберта в процесс тестирования?
На какой вид индивидуальных различий комитет, возможно, обратит больше всего внимания при отборе? Почему?
Должны ли все различные виды оценок иметь одинаковый вес при их интеграции для отбора участников программы?
В управленческом образовании используются кейсы, где в качестве ключевых объектов изучения выступают среда бизнеса, организации и люди, принимающие решения. Кейс позволяет в процессе контроля на реальных примерах выполнить работу, которой будущий управленец будет заниматься ежедневно: проводить анализ истории вопроса и нынешнего положения дел, определять и сравнивать различные варианты принятия решений, выносить окончательные решения и просчитывать их последствия.
Кейсы, созданные для текущего контроля обучающихся не должны содержать завершенную копию реальных событий. Скорее, их цель состоит в том, чтобы создать атмосферу обсуждения и дебатов среди обучающихся, когда они сами добавляют возможные условия и факторы для рассматриваемой ситуации. Такая атмосфера отвечает учебным целям и вполне уместна при имитации будущей профессиональной деятельности менеджеров, поскольку в бизнесе, как и в жизни, все зависит от сочетания множества самых разных факторов. Отбор наиболее значимых факторов, нуждающихся в обязательном рассмотрении при выполнении задания, осуществляется самими авторами в процессе разработки кейса и определяется целями, которые ставятся перед обучаемыми.
В структуре задания учебного кейса в том случае, когда он выполняет функции измерителя, можно выделить следующие части:
Пояснительную записку, включающую цели создания задания кейса и перечень проверяемых компетенций.
Характеристики контингента обучающихся, для которых предназначено задание.
Текст задания кейса, который включает основной текст и приложения с дополнительной информацией или со ссылками на нее в Интернете.(если есть необходимость).
Вопросы, требующие решения проблем по тексту задания
Оценочные рубрики к заданию, включающие оценочные градации ко всем возможным решениям
Методические рекомендации для экспертов по оценке результатов проверки ответов на задание.
Процесс применения разработанного кейс-измерителя со статистически обоснованной шкалой в текущем контроле можно разбить на следующие этапы:
ознакомление обучающихся с текстом кейса;
анализ ситуаций кейса; выделение основной проблемы и контекстных факторов, влияющих на правильность решений в условиях причинно-следственной связи;
организация обсуждения ситуаций кейса, дискуссии по подходам к решению проблем и поиску оптимальных решений, презентации результатов дискуссий;
анализ последствий принятия того или иного решения;
экспертное оценивание ответов участников дискуссии по стандартизированным рубрикам к заданиям и построение шкал или шкалы результатов по кейсу;
интерпретация результатов оценивания и их сообщение обучающимся.
Эти этапы могут носить сокращенный характер на стадии оценивания результатов ответов обучающихся и их интерпретации. Однако в любом случае учебные кейсы не должны носить исключительно иллюстративный характер, а обязательно включать материал, содержащий внутренний потенциал для обсуждений.
К числу основных требований, предъявляемых к кейсам, относится:
адекватность поставленной цели создания;
оптимальность по уровню трудности для контингента обучающихся;
ориентация на проблемы и ситуации профессиональной деятельности;
адекватность современным проблемам экономики и производства;
актуальность для сферы будущей профессиональной деятельности обучающихся;
значимость включаемых ситуаций и проблем;
способность к побуждению дискуссионных обсуждений;
включение ряда необходимых контекстных факторов, обеспечивающих многозначность решений;
наличие нескольких, соперничающих между собой решений.
В силу неизбежного существования определённого количества информации, которая не будет известна всем обучающимся (особенности предприятий, продуктов и технологий, законодательные ограничения, события, о которых не знают обучающиеся, неоднозначное использование терминов в различных компаниях и т.д.), в задания кейса необходимо внести ровно столько пояснений, сколько нужно для понимания проблемы. Вместе с тем, факты в заданиях должны носить правдоподобный, а иногда и достоверный характер, поскольку само их существование не должно приводить к сомнениям и обсуждениям. Например, возможен вариант создания заданий кейса на основе обобщения консалтингового опыта их авторов. В основу таких заданий закладываются отдельные эпизоды из опыта, но их подготовка, как правило, связана с сознательным сокрытием имени компании и реального контекста событий.
Обычно, в задания кейсов включают довольно большое количество контекстной информации с тем, чтобы порождать многозначность подходов к получению решений. Сознательное включение множества контекстных сведений не противоречит требованию минимизации, поскольку в хорошем кейсе нет ничего лишнего, любая деталь методически продумана и предназначена для определенного пути получения одного из решений. Материал кейса всегда структурирован, а контекстные факторы и последовательность их включения с целью пояснения проблемы заранее продуманы автором, при этом факты и события зачастую умышленно подаются так, чтобы причинно-следственные связи между ними не лежали на поверхности. Обучающемуся нужно приложить усилия, чтобы раскрыть связи между событиями, явлениями, процессами и решить проблему.
