Методика конструирования теста
Тест – это инструмент, это краткое стандартизованное испытание, в основе которого лежит специально подготовленный набор заданий, позволяющих объективно и надёжно оценить исследуемые качества на основе использования статистических методов.
Структурными компонентами теста являются:
тестовое задание – задача в тестовой форме, предназначенная для выполнения, к которой помимо содержания предъявляются требования тестовой формы;
эталон – образец полного и правильного выполнения действия, служащий для сравнения достигнутого уровня с планируемым.
Поскольку тестовое задание – это некоторая задача, которую проходится решать испытуемому, то необходимо усвоить понятие задачи.
Под задачей в тестологии понимается сформулированное для испытуемого задание по достижению определённой цели, в известных условиях, раннее изученными методами деятельности.
При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста, на основании которых оценивается эффективность любого теста.
Важнейшими из показателей качества теста являются валидность и надёжность.
Каждый метод предназначен для измерения какого-либо свойства, что и определяет содержание этого метода. Сведения о степени, в которой тест действительно измеряет то, для чего он предназначен, входят в понятие валидности. Существуют разные типы и виды валидности.
К типам валидности относят:
Практическую валидность
Валидность по объему
Оценочную валидность
Внешнюю валидность
Практическая валидность характеризует тест не столько со стороны его психологического содержания, сколько с точки зрения его ценности в отношении достижения определенной практической цели (прогнозирования, диагностики).
Выделяют подтипы практической валидности: прогностическая и совпадающая. Тест с высокой прогностической валидностью позволяет сделать прогноз, насколько успешно испытуемый будет выполнять определенную деятельность впоследствии. Тест с высокой совпадающей валидностью позволяет ответить на вопрос: "Какова вероятность того, что индивид Х обладает свойством У в настоящий момент времени?"
Валидность по объему отражает степень, в какой объем теста выборочно представляет те ситуации или учебный материал, относительно которых должны быть сделаны выводы.
Валидность по объему показывает, в каком объеме, в какой мере психическое свойство отражено в методике.
Оценочная валидность выражает степень корреляции (соответствия) между показателями, полученными испытуемыми по данному методу, и оценками измерительного свойства со стороны экспертов.
Например, при валидации (проверке теста на валидность) тестов оценки умственных способностей школьников в качестве экспертов обычно выступают учителя.
Внешняя валидность означает, что впечатление, которое создается у неспециалистов при знакомстве с внешней стороной тестирования, соответствует заявленному содержанию метода.
Эффективная методика может быть создана, если она прошла все этапы валидации, то есть когда приняты меры для придания ей как содержательной валидности, так и практической.
Таким образом, в наиболее общей формулировке, валидность рассматривается как характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает. Исходя из этого, тест считается валидным, если он измерят то, для чего он предназначен.
В современной тестологии выделяются также несколько видов валидности:
Очевидная валидность.
Содержательная валидность.
Функциональная валидность.
Прогностическая валидность.
Критериальная валидность.
1. Очевидная валидность – внешнее представление о тесте с точки зрения испытуемого.
Она определяет, насколько адекватно впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста, тому, что данный инструмент в действительности выявляет. Чем более тест выглядит измеряющим то, для измерения чего он предназначен, тем выше его очевидная валидность. Эффективным методом повышения очевидной валидности является привлечение испытуемых к анализу теста, что позволяет взглянуть на тест глазами тех, для кого он предназначен.
Очевидная валидность может быть присуща тесту, а может и не быть. Это зависит от целей исследования. Для большинства тестов очевидная валидность позитивное, либо нейтральное качество, поскольку, как правило, нет оснований скрывать от испытуемых реальные цели тестирования.
2. Содержательная валидность – основной показатель, характеризующий степень представительности содержания заданий теста по отношению к измеряемой характеристике.
Она определяется на основе экспертных методов. Наибольшее распространение нашли такие способы экспертной оценки, как:
метод коллективной оценки,
метод средневзвешенной оценки,
метод ранжирования,
метод парного сравнения.
Одним из удобных и широко применяемых на практике способов оценки содержательной валидности является метод расчета коэффициента корреляции без привлечения независимых экспертов. Для этой цели в экспериментальной группе проводят тестирование по разработанному тесту, а затем, выявленные результаты сравнивают с оценками, полученными традиционным способом. После чего рассчитывается коэффициент корреляции. Если он составляет 0,9 и более, то валидность теста считается высокой, если же менее 0,7 – низкой.
3. Функциональная валидность – показатель теста, близкий к содержательной валидности, но имеющий свои особенности. Он характеризует степень соответствия содержания заданий теста по отношению к выявляемому уровню усвоения опыта деятельности.
Задания, предлагаемые в тесте, должны быть решены соответствующими определенному уровню способами деятельности и не могут быть выполнены путем использования способов деятельности более низкого уровня. Функциональная валидность может быть присуща тесту только в том случае, когда при составлении теста заранее планируется уровень его сложности.
4. Прогностическая валидность – характеристика теста, отражающая степень точности и обоснованности суждения о диагностируемой переменной.
Для установления прогностической валидности теста изучаются корреляции между данными, полученными в ходе проведенного исследования и результатами, полученными спустя определённое время.
5. Критериальная валидность – вид валидности, направленный на выбор критерия, по которому можно объективно оценивать результаты работы испытуемых с тестами.
Критерий валидности теста – это признак его обоснованности и правомерности его применения как измерительного инструмента. Важнейшей характеристикой критерия валидности считается его объективность, которая состоит в его независимости от субъективных мнений.
Вторым критерием качества теста является его надежность, показывающая обеспечивает ли тест как измерительный инструмент объективность результатов.
Использование ненадежных тестов, допуск большого количества ошибок в таком ответственном деле, каким является тестирование людей, может стать причиной педагогических и административных ошибок, последствия которых трудно исправить. Следовательно, возникает необходимость более детального рассмотрения этого показателя.
В психологии термин надежность рассматривается в двух значениях.
Под надёжностью в широком смысле понимается характеристика того, в какой степени, выявленные у испытуемых различия по тестовым результатам, являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.
В узком смысле, под этой группой показателей подразумевается степень согласованности результатов теста, получаемых при первичном и повторном его применении, по отношению к тем же испытуемым в различные моменты времени с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при иных изменениях условий обследования.
О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие:
При повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой.
Действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования.
В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность помещения и др. Такие посторонние случайные факторы еще называют факторами нестабильности измерительной процедуры.
При повторном применении метода к тем же самым испытуемым через определенный интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой.
Под измененными имеется в виду следующие условия: другой экспериментатор, состояние респондента и др.
В зависимости от условий, влияющих на результаты теста, выделяют следующие методы характеристик надёжности:
Ретестовый метод (Тест
ИНТЕРВАЛ
Ретест)Надежность взаимозаменяемых форм (Тест А ИНТЕРВАЛ Тест А')
Метод расщепления
Ретестовый метод – повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях.
Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), а также событий, происходящих с испытуемым в жизни.