3. Основные подходы к разработке измерителей, их виды и этапы разработки

3.1. Подходы к интерпретации результатов педагогических измерений

При педагогических измерениях интерпретация баллов обучающихся может иметь различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы – выборки обучающихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). В другом случае результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход).

Хотя оба подхода дают информацию о подготовленности обучающихся, но они отличаются по характеру получаемых данных. В нормативно-ориентированном подходе определяется место результата каждого обучающегося по отношению к результатам других обучающихся. В критериально-ориентированном подходе информация, полученная при тестировании, позволяет установить освоенные разделы учебного курса, компетенции или виды учебной деятельности.

Сообразно двум подходам к интерпретации результатов тести­рования выстраиваются два подхода к созданию измерителей. Оба они перспективны и важны, имеют свою сферу применения, свои преимущества и недостатки. Выбор подхода к интерпретации результатов измерения необходимо сделать в самом начале в момент постановки цели.

С первого взгляда, оба подхода – нормативный и критериальный – не противоречивы, поэтому у многих педагогов возникает впечатление, что можно делать тесты, допускающие сразу обе интерпретации результатов. Для специалистов по педагогическим измерениям, совмещение нормативно-ориентированного и критериально-ориентированного подхода кажется недопустимым в силу существования ряда различий в конструировании измерителей и характера распределения эмпирических данных, собранных по результатам их применения.

3.2. Нормативно-ориентированный подход и стандартизация тестов

Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно – ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов обучающихся относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания обучающегося, выполнившего правильно в тесте всего 30 заданий из 60 в том случае, если 70% - 80% остальных обучающихся в группе сделали меньшее число заданий теста. Тот же самый результат обучающегося в сильной группе будет отнесен к категории довольно низких, если толь­ко 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого обучающегося сравнивается с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых - релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых обучающихся. Нормы нельзя придумать или задать априорно, они устанавливаются в соответствии с эмпирическими данными по тесту. К нормам обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых обучающихся. Имея нормы можно установить положение каждого результата по отношению к среднему значению тестовых баллов, посмотреть - на сколько результат испытуемого выше или ниже среднего и как располагаются результаты остальных обучающихся вокруг среднего балла по тесту. Таким образом, соотнесение первичного результата испытуемого с нормами теста позволяет определить место испытуемого в выборке, использованной для их подсчета.

Процесс определения норм называется стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой является обяза­тельным моментом при определении норм теста. Тестовых норм, пригодных для интерпретации результатов всех обучающихся по любым тестам, не существует вообще. Область применимости любой нормы ограничивает­ся данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому обновлению и перепроверке.

Нормы обычно устанавливают в ситуации массового тестирования, например, при аттестации обучающихся или выпускников учебных заведений. В текущем контроле нормы выполнения теста, конечно, не определяются. В этом случае обычно используются не преобразованные (сырые) результаты выполнения тестов, подсчитанные путем суммирования оценок по отдельным заданиям, в том числе и с весовыми коэффициентами.

Руководству факультета нередко интересно узнать - по какому предмету отстает тот или иной обучающийся. Для этого приходится сравнивать результаты обучающихся по предметным тестам. Подобное сравнение относительных позиций испытуемого в тестах по разным предметам возможно в том случае, когда они стандартизированы на одной и той же выборке испытуемых и представлены в одинаковых шкалах, с общими средним значением и стандартным отклонением. В противном случае результаты сравнения тестовых баллов обучающихся по отдельным предметам могут быть неверно интерпретированы из-за несопоставимости тестовых норм.

Норма - относительное понятие, тесно связанное с особенностями выборки обучающихся, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные: объем и представительность (репрезентативность).

Для обеспечения равномерности представления различных специфических составляющих популяции испытуемых используют специальный процесс – стратификацию (расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности). Обычно в качестве оснований для стратификации выделяют факторы, наиболее тесно связанные с переменной измерения и воспроизводящие реальную структуру генеральной совокупности по ряду признаков (возрастных, гендерных, психологических, социальных и др.).

Например, к числу таких факторов для группы вузов можно отнести: программу обучения, используемые учебники, специфику технологий обучения, социальное положение родителей обучающихся, регион, где расположен вуз и т.д. Внутри одного учебного заведения можно выделить: формы обучения, методы обучения, кадровый состав преподавателей и т.д. Пользователям тестов следует также помнить о том, что сопоставление норм по различным тестам возможно лишь в случае, когда есть основания для утверждения об адекватности выборок стандартизации.