Модель Раша

Эта модель (Rasch, 1960) может быть описана несколькими способами. Здесь мы представляем один из них, наиболее легко интерпретируемый.

Модель позволяет: (1) предоставить процедуру, которая могла бы показывать, является ли шкала внутренне согласованной, вне зависимости от диапазона изменения черты в выборочной совокупности; и (2) выявлять любые взаимозависимости между заданиями и выборочной совокупностью заданий (так как дисперсия заданий внутри выборочной совокупности должна отличаться от дисперсии между выборочными совокупностями), что, конечно, свидетельствует о сомнительных моментах при любых сравнениях между выборочными совокупностями, например, в кросс-культурных исследованиях.

Когда испытуемый V выполняет задание k и отвечает на него «Да» или «Нет», переменная ответа xvk получает значение 0 или 1, в зависимости от того, соответствует ли ответ высокой или малой степени проявления измеряемой черты. Полагается, что значение ответа зависит как от возможности задания k выявить степень присутствия данной черты у всех испытуемых, так и от степени выраженности этой черты у некоторого испытуемого, дающего ответы на все задания. Пусть выраженность черты испытуемого, которая будет названа мерой черты испытуемого, будет представлена параметром Ту, и пусть характеристика того, что в задании k имеется для выявления степени выраженности черты (в тестах способностей, например, называемая трудностью задания), будет представлена параметром аъ.

Модель ответа, дающая вероятность показателя xvk, принимает тогда следующий вид:

)-

Очевидно, что чем больше мераТУ, тем больше вероятность того, что испытуемый У получит показатель 1 за свой ответ, и, аналогично, чем ниже характеристика аь. задания k, тем больше вероятность того, что испытуемый также получит показатель 1 за свой ответ. Также понятно, что параметры испытуемого и задания считаются одномерными. Если ответы испытуемых на некоторое множество заданий удовлетворяют условиям данной модели, то очевидно, что задания дают одномерные шкалы, или, в традиционной терминологии, что задания внутренне согласованы или однородны.

Определяющим свойством модели ответа, определяемой формулой (1.9), явно указанным у Rasch (1960, 1961) и Wright (1968), является то, что оценки a.k независимы от значений TV и являются, следовательно, также независимыми от распределения данной черты в любой выборке испытуемых, ответы которых анализируются. Как следствие, могут быть получены данные, касающиеся внутренней согласованности шкалы в рамках выборочной совокупности, без какого-либо влияния слабого разброса в измеряемой выборке. Кроме того, поскольку приблизительная оценка значения a.k для каждого задания k должна быть эквивалентна, независимо от способов измерения испытуемого, используемых для получения результатов, может быть выполнена проверка согласованности шкалы между выборочными совокупностями.

Для оценивания параметров ад и Ту , а также для идентификации тех заданий, ответы на которые не описываются данной моделью или не соответствуют ей, был разработан ряд процедур.

При оценивании параметров производится максимизация вероятности матрицы ответов по отношению к параметрам заданий и испытуемых одновременно, тогда как проверка соответствия заключается в проверке того, могут ли исследуемые данные быть описаны данной моделью, и выполняется уже после оценивания параметров.

Проверка того, являются ли задания внутренне согласованными относительно некоторой одной выборочной совокупности, будет называться согласованностью заданий в рамках выборочной совокупности (within-population item-fit). Проверка того, соответствуют ли задания данной модели относительно нескольких выборочных совокупностей, будет называться согласованностью заданий между выборочными совокупностями (among-population item-fit). Процедура для выполнения этой проверки получается непосредственно из того свойства, что оценки параметров заданий должны быть независимыми от того, какие испытуемые выполняли эти задания. Для каждого задания значения параметров, полученные для выборки из каждой выборочной совокупности испытуемых, статистически сравниваются. Для подробного ознакомления со сложными уравнениями оценивания читатели могут обратиться к Wright (1968) или Rasch (1961).

Модель Раша является математически гораздо более сложной, чем классическая модель, и для вычислений по ней нужна компьютерная программа. Говорят, что ее преимуществом, как основания для конструирования тестов, является то, что можно использовать задания для получения точных показателей для испытуемых, независимо от уровня способностей этих испытуемых, поскольку трудность заданий может быть дифференцирована в зависимости от способностей испытуемых (если мы измеряем переменную из сферы способностей). Как было указано выше, модель Раша является фактически частным случаем модели латентных черт Бирнбаума, и это может с точки зрения психологии не соответствовать многим областям измерений.

Ниже перечислены различные трудности, возникающие при использовании модели Раша, которые до некоторой степени уравновешивают преимущества не зависящих от заданий и не зависящих от выборочных совокупностей измерений.

Некоторые из наиболее детализированных предположений модели Раша, почти наверное, являются ошибочными: это то, что задания эквивалентны по своей дискриминативности; что нет угадывания ответов; что задания затрагивают только одну черту. Конечно, чтобы учесть случай угадывания, можно ввести в модель Раша дополнительный параметр, но если мы сделаем это, ее процедуры станут слишком громоздкими для практических приложений.

Более того, как указывает Lord (1974), если мы хотим получить надежную, не зависимую от выборочной совокупности градуировку, должны быть использованы огромные выборки. Вдобавок, опыт тестирования достижений (например, Chopin, 1976) показывает, что задания часто не соответствуют модели, и в любом случае есть значительные разногласия по поводу статистических процедур для измерения этого соответствия. Что еще хуже, Wood (1978) показал, что произвольные данные могут быть приведены в соответствие с моделью Раша. И наконец, у Nunnally (1978) доказано, что в любом случае существует очень высокая корреляция между шкалами Раша и шкалами, сделанными в соответствии с классической моделью.

Barrett и Kline (1984) показали, что шкалирование по Рашу может породить бессмысленные шкалы. Так, шкалирование по Рашу личностного опросника Айзенка (Eysenck Personality Questionnaire - EPQ) породило некую смесь личностных шкал N, Е, Р и L. Однако, несмотря на эти моменты, для некоторых целей, особенно когда тестирование связано с хорошо описываемой выборочной совокупностью заданий и когда желательны короткие формы тестов или повторное тестирование, шкалирование по Рашу может быть полезно. В главу 10 включены практические процедуры, необходимые для конструирования таких тестов.

Наконец, здесь необходимо кратко обсудить два других новых подхода к тестированию, которые не связаны с шкалированием по Рашу. Я имею в виду индивидуально-ориентированное тестирование и компьютеризированное тестирование (более полно описанные в главе 10).

Индивидуально-ориентированное тестирование (tailored testing)

В соответствии с названием метода, при индивидуально-ориенти-

рованном тестировании используются специально создаваемые ин-

дивидуально-ориентированные тесты для определенных испытуе-

мых. По существу, испытуемому должно быть предъявлено задание

средней трудности. Если задание выполнено правильно, предъявля-

ется более трудное, если неправильно - более простое. Таким обра-

зом, путем предъявления относительно небольшого количества зада-

ний может быть достоверно установлен точный уровень испытуемого

на некотором множестве заданий. Для всего этого требуется компь-

ютерное представление заданий с индексами трудности по Рашу или

по другим шкалам, хранимым в памяти компьютера, и программа,

которая предъявляет задания в зависимости от ответов и трудности

заданий. Многие индивидуально-ориентированные тесты использу-

ют задания, градуированные по кривым зависимости «задание-от-

вет» , так что точные оценки могут быть получены на подмножествах

заданий. Такое индивидуально-ориентированное тестирование не-

сомненно имеет значение при практическом тестировании, когда

необходимо быстрое получение результата.

Компьютеризированное тестирование

Компьютеризированное тестирование в простейшем виде пред-

ставляет собой предъявление заданий теста на экране компьютера и

запись ответов с клавиатуры компьютера или со специально сконст-

руированной клавиатуры. По окончании теста компьютер может вы-

вести на экран показатель испытуемого и его простую интерпрета-

цию, основанную на нормах, занесенных в память компьютера. По-

казатели каждого испытуемого по отдельным заданиям и общие по-

казатели могут быть обработаны так, чтобы автоматически могли

быть выполнены анализ заданий, факторный анализ или любые дру-

гие психометрические приемы. Так, компьютерное представление

стандартизованных тестов может быть высокоэффективным средст-

вом для проведения испытаний и психометрического анализа. Одна-

ко, в этом смысле компьютерное представление имеет сходство с

ограничениями любой книги: это хорошо, поскольку удобно и эффек-

тивно, но в конечном счете более важным становится содержатель-

чый анализ.

На микрокомпьютере могут быть представлены большинство

стандартных тестов, хотя и возможны проблемы с идентичным пред-

ставлением визуального материала. Когда обычный тест переносится

на компьютер, он должен быть повторно валидизирован, а нормы

должны быть проверены. Более сложная процедура, извлекающая

больше пользы из потенциальной мощи компьютера, - разработка

тестов, которые могут быть представлены только на компьютере.

Примерами этого могут быть задания, по которым измеряется скоро-

сть реакции, и сами задания теста изменяются в зависимости от нее.

В последнем случае тест становится индивидуально-ориентирован-

ным, а индивидуально-ориентированные тесты, конечно же, дейст-

вительно зависимыми от компьютера. В общем, компьютеризирован-

ное тестирование, при котором задания действительно зависимы от

компьютера (в отличие от правил предъявления заданий, как в ин-

дивидуально-ориентированных тестах), в большинстве своем пере-

живает еще период своего раннего детства. Однако, в главе 10 будет

описано, как такие тесты могут быть созданы.

Заключение и краткий обзор

В первой главе были описаны наиболее важные характеристики

психологических тестов : свойства шкал, надежность, валидность,

дискриминативность и стандартизация. Отдельно была выделена те-

ория погрешностей измерения, которая лежит в основе этих психо-

метрических понятий, а далее были описаны некоторые отличные от

классического подходы к тестированию, в том числе базирующиеся

на кривых зависимости «задание-ответ», шкалировании Раша, ин-

дивидуально-ориентированном и компьютеризированном тестиро-

вании.

Подводя итог, можно сказать, что целью конструирования тестов

является разработка высоко валидных, надежных и дискриминатив-

ных тестов. Как это делается для тестов различных типов, будет

описано в последующих главах данной книги.

В англ. яз. tailored testing означает специально приспособленное для кого-либо

тестирование.