Глава 13 пунктовая теория теста и модели раша

Пунктовая теория теста (Item Response Theory – IRT¹³) является современной альтернативой классической теории тестов (Classical Test Theory – CTT). Хотя предпосылки пунктовой теории тестов имеют длинную историю (например, Lord, 1953; Rasch, 1960), сама теория возникла относительно недавно и дала начало альтернативному подходу к измерению в науках о поведении. С вычислительной точки зрения пунктовая теория тестов сложнее, чем классическая, однако сторонники этой теории утверждают, что данный недостаток компенсируется несколькими важными достоинствами нового подхода.

ОСНОВЫ ПУНКТОВОЙ ТЕОРИИ ТЕСТА

В сущности, пунктовая теория теста представляет собой психометрический подход, в котором акцентируется тот факт, что ответ респондента на определенный пункт теста обусловлен как особенностями самого респондента, так и характеристиками пункта. IRT включает в себя процедуры вычисления различных параметров, относящихся к респондентам, пунктам и всему тесту. Как утверждают сторонники IRT, информация, получаемая с помощью таких вычислений, более объективна, чем в классической теории тестов. Существует несколько разновидностей пунктовой теории теста, друг от друга они отличаются степенью сложности и возможностями применения для тех или иных видов тестов.

Представьте, что Сьюзи проходит пятиминутный тест на математические способности. Согласно IRT, вероятность того, что Сьюзи правильно ответит на первый пункт теста, зависит от двух моментов. Если Сьюзи обладает высокими математическими способностями, вероятность того, что она правильно решит задание, относительно высока. С другой стороны, если задание сложное, вероятность правильного ответа Сьюзи будет относительно низкой. Таким образом, вероятность того, что она правильно ответит на первый пункт, обусловлена как ее математическими способностями, так и сложностью самого пункта. Эту логику можно распространить на разнообразные виды психологических измерений, однако в наиболее основополагающей форме IRT утверждается, что ответ респондента на пункт обусловлен выраженностью у респондента соответствующего признака (например, математические способности Сьюзи) и уровнем сложности самого пункта. Более сложные разновидности IRT включают и дополнительные факторы (параметры), оказывающие влияние на то, как респондент отвечает на пункты теста.

Уровень выраженности признака как фактор ответа на пункт

Один из факторов, влияющих на вероятность ответа на пункт каким-то определенным образом, - уровень выраженности у респондента того психологического признака, на измерение которой направлен этот пункт теста. Если тестовый пункт представляет собой математическое задание, правильный ответ на него более вероятен для респондента с высокими математическими способностями. Аналогично, респондент с высоким уровнем экстраверсии с большей вероятностью согласится с утверждением опросника, направленного на измерение экстраверсии, чем респондент-интроверт. С утверждением опросника, направленным на измерение уровня удовлетворенности работой, скорее согласится довольный своей работой человек.

Уровень сложности пункта как фактор ответа на пункт

Другой фактор, оказывающий влияние на вероятность ответить на задание теста каким-то определенным образом – уровень сложности этого задания (пункта). Математическое задание с высоким уровнем сложности, вероятно, будет решено меньшим количеством человек, нежели математическое задание с низким уровнем сложности (т.е. легкое). Например, правильный ответ на пункт «Каков квадратный корень из 10 000?» менее вероятен, чем правильный ответ на пункт «Сколько будет 2 + 2?». Аналогичным образом, чем выше уровень сложности пункта на экстраверсию, тем меньше респондентов согласится с ним. На первый взгляд, понятие «уровень сложности» может показаться неприменимым к опросникам, измеряющим черты личности (например, экстраверсию), однако сравните следующие два гипотетических пункта: «Мне нравится общаться с друзьями» и «Мне нравится выступать перед большими аудиториями». При условии, что оба пункта являются валидными мерами экстраверсии, с первым пунктом в каком-то смысле легче согласиться, чем со вторым. Другими словами, вероятно, большее количество человек согласится с утверждением об общении с друзьями, чем с утверждением о выступлениях перед большими аудиториями. В примере с удовлетворенностью работой с утверждением «У меня хорошая работа», вероятно, согласиться легче, чем с утверждением «Работа – лучшее, что есть в моей жизни».

Несмотря на то, что выраженность признака и сложность пункта в анализе IRT рассматриваются отдельно, между ними есть глубокая связь. Фактически, сложность пунктов определяется через выраженность признаков. Так, сложный пункт для правильного ответа на него требует относительно высокого уровня выраженности измеряемого признака, в то время как для ответа на легкий пункт необходима лишь относительно небольшая выраженность признака. Возвращаясь к примеру с математическими заданиями: вероятно, для правильного ответа на вопрос с извлечением квадратного корня респонденту необходимо иметь математические способности на уровне девятого класса школы, в то время как для решения задачи на сложение достаточно и уровня второго класса.

Взаимосвязь между выраженностью признаков и сложностью пунктов особенно полезна для понимания того, что такое сложность пунктов в личностных опросниках и в анкетах, направленных на изучение отношения респондентов к чему-либо. Вспомните упомянутые выше пункты гипотетического опросника на экстраверсию - «Мне нравится общаться с друзьями» и «Мне нравится выступать перед большими аудиториями». Мы пришли к выводу о том, что первый пункт легче второго. Другими словами, для того, чтобы согласиться с первым утверждением, респонденту нужен лишь невысокий уровень экстраверсии, в то время как для второго пункта респонденту потребуется, вероятно, куда более выраженная экстраверсия. Даже довольно интровертированные люди (т.е. респонденты с относительно низким уровнем экстраверсии) могут согласиться с утверждением о том, что им нравится общаться с друзьями. С другой стороны, респондент, вероятно, должен быть очень экстравертированным, чтобы согласиться с утверждением о том, что ему нравится выступать перед большими аудиториями.

В IRT-анализе выраженность признака и сложность пунктов обычно измеряются в стандартизованной шкале: их средние равны 0, а стандартные отклонения 1. Таким образом, респондент с уровнем выраженности признака 0 обладает средней выраженностью этого признака, а если уровень выраженности признака равняется 1.5, это означает, что выраженность признака респондента на полтора стандартных отклонения больше средней. Сходным образом, пункт с уровнем сложности 0 – это средний по сложности пункт, а пункт с уровнем сложности 1.5 – относительно сложен.

В IRT сложность пунктов выражается в терминах выраженности признака. Точнее, сложность задания (пункта) определяется как уровень выраженности признака, необходимый для того, чтобы у респондента был 50-процентный шанс ответить на задание (пункт) правильно. Если пункт имеет сложность 0, то респондент со средним уровнем выраженности признака (т.е. с уровнем выраженности признака 0) ответит на него правильно в 50 процентах случаев. При ответе на пункт с уровнем сложности 0 у респондента с высоким уровнем выраженности признака (больше нуля) шанс ответить на него правильно будет выше, у респондента с низким уровнем выраженности признака (меньше нуля) – ниже. Более высокие уровни сложности означают, что для достижения 50-процентного шанса правильного ответа на пункт респонденту необходим более высокий уровень выраженности признака. Например, если сложность пункта составляет 1.5, 50-процентный шанс ответить на него правильно будет у респондента с уровнем выраженности признака 1.5 (т.е. на полтора стандартных отклонения выше среднего). И наоборот, более низкие уровни сложности означают, что для достижения 50-процентной вероятности правильного ответа респондентам необходимо обладать лишь относительно низкими уровнями выраженности признака.

Дискриминативная способность пункта как фактор ответа на пункт

Пункты теста могут различаться не только с точки зрения их сложности (одни пункты сложнее других), но и с точки зрения того, насколько они могут различать респондентов с высокими и низкими уровнями выраженности признака. Эта характеристика пунктов называется дискриминативной (различительной) способностью, или дискриминативностью пункта. Дискриминативность пункта в IRT аналогична корреляции пункта со шкалой (item-total correlation) из общей теории тестов (Embertson & Reise, 2000).

Показатель дискриминативности пункта означает его релевантность той характеристике (признаку), которую измеряет шкала. Положительное значение дискриминативности означает, что пункт имеет какое-то отношение к измеряемой характеристике, а относительно высокое значение (например, 3.5 по сравнению с 0.5) указывает на относительно сильную взаимосвязь пункта и измеряемой характеристики. Напротив, пункт с коэффициентом дискриминативности 0 не имеет никакого отношения к той характеристике, которая предположительно измеряется шкалой, а пункт с отрицательным значением дискриминативности относится к этой характеристике обратно-пропорционально (т.е. чем выше уровень выраженности признака, тем менее вероятно, что ответ на пункт будет правильным). Таким образом, обычно предпочитают добиваться высоких и положительных значений дискриминативности пунктов.

Почему у одних пунктов хорошая дискриминативная способность, а у других – нет? Рассмотрим следующие два задания (пункта) из гипотетического теста по математике:

1. Сколько аршинов в трех саженях? (a) 9 (b) 18

2. Каков квадратный корень из 10000? (a) 10 (b) 100

Задумайтесь над первым вопросом. Что необходимо респонденту для того, чтобы ответить на него правильно? Чтобы ответить на этот вопрос, ученику необходимо обладать математическими способностями, достаточными для выполнения умножения. Тем не менее, этот пункт требует также дополнительных знаний о том, сколько аршинов входит в одну сажень. Тот факт, что для правильного ответа на пункт требуется что-то еще помимо математических способностей, означает, что пункт не слишком сильно связан с измерением именно математических способностей. Другими словами, высокий уровень математических способностей недостаточен для правильного решения этого задания. Ученик может быть способен выполнить умножение 3 на 3, но шанс, что он ответит на вопрос правильно, может быть невысок в силу того, что он не знает, что в одной сажени три аршина. Таким образом, дискриминативность данного пункта будет низкой, а его взаимосвязь с тем признаком, на измерение которого нацелен математический тест, - слабой. Другими словами, этот пункт не слишком хорошо справляется с задачей различения учеников с относительно высоким и относительно низким уровнем математических способностей. Даже если Сьюзи решит задание правильно, а Джонни – нет, мы не можем с уверенность делать вывод о том, что Сьюзи разбирается в математике лучше, чем Джонни. Возможно, Джонни разбирается в математике, но просто не знает, сколько аршинов содержится в одной сажени.

Рассмотрим теперь второй вопрос. Что необходимо респонденту для того, чтобы правильно на него ответить? Требуется умение извлекать квадратный корень, но никаких дополнительных знаний или умений не требуется. Единственное качество ученика, которое имеет отношение к ответу на этот пункт, - это математические способности. В связи с этим данный вопрос более «чисто» математический, и он сильнее взаимосвязан с измеряемым признаком (математические способности), чем первый вопрос. Следовательно, у этого пункта, вероятно, будет высокий показатель дискриминативности. Другими словами, этот пункт лучше справляется с задачей различения учеников с относительно высоким и относительно низким уровнем математических способностей. Если Сьюзи ответит на вопрос правильно, а Джонни – неправильно, мы можем с достаточной степенью уверенности утверждать, что Сьюзи в математике сильнее, чем Джонни.

ИЗМЕРИТЕЛЬНЫЕ МОДЕЛИ IRT

В практике применения IRT-анализа определяются компоненты, влияющие на вероятность того, что респондент ответит на пункт каким-то определенным образом. Измерительная модель задает математические отношения между результатом (например, баллом, который респондент получает за пункт) и параметрами, которые оказывают влияние на этот результат (например, характеристиками самого респондента и/или характеристиками пункта теста).

В рамках IRT были разработаны разнообразные измерительные модели, которые отличаются друг от друга по крайней мере в двух немаловажных аспектах. Первое важное различие измерительных моделей заключается в тех характеристиках пункта, или параметрах, которые включаются в модель. Второе различие касается шкалы, в которой измеряется ответ респондента (результат).

Наиболее простая модель IRT зачастую называется моделью Раша, или однофакторной логистической моделью (1ФЛ). Согласно модели Раша, ответ респондента на бинарный пункт (т.е. правильно / неправильно, справился / не справился, согласен / не согласен) определяется уровнем выраженности измеряемого признака у респондента и уровнем сложности самого пункта. Модель Раша можно выразить в терминах вероятности того, что респондент с определенным уровнем выраженности признака правильно ответит на пункт с определенным уровнем сложности. Зачастую (например, Embertson & Reise, 2000) эту зависимость представляют как

.

Это уравнение требует некоторых пояснений:

X_is означает ответ (X) респондента s на пункт i.

θ_s означает уровень выраженности признака у респондента s.

β_i означает сложность пункта i.

X_is = 1 означает, что респондент дал «правильный» ответ на пункт или согласился с утверждением.

e – основание натурального логарифма (т.е. e = 2.7182818…), число, которое есть на многих калькуляторах.

Таким образом, P(X_is = 1 | θ_s, β_i) означает вероятность (P) того, что респондент s ответит на пункт i правильно. Вертикальная линия в данной записи означает, что это «условная» вероятность. Вероятность правильного ответа респондента на пункт обусловлена выраженностью у респондента признака (θ_s) и сложностью пункта (β_i). В IRT-анализе выраженность признака и сложность пункта обычно выражаются в стандартизованной шкале, где среднее значение равняется 0, а стандартное отклонение 1. Рассмотрим следующие примеры с выполнением теста на математические способности:

1. Какова вероятность того, что респондент с относительно высоким уровнем математических способностей (скажем, с уровнем математических способностей, на одно стандартное отклонение превышающим средний, т.е. θ_s = 1) правильно ответит на пункт с относительно низким уровнем сложности (скажем, β_i = - 0.5)?

Т.е. существует вероятность 0.82, что данный респондент правильно ответит на данный пункт. Другими словами, весьма вероятно (более чем на 80 %), что респондент решит эту математическую задачу. Это очевидно и с точки зрения здравого смысла, поскольку в нашем примере респондент с хорошими математическими способностями выполняет относительно простое математическое задание.

2. Какова вероятность того, что респондент с математическими способностями ниже среднего (скажем, с математическими способностями, на 1.39 стандартного отклонения ниже среднего уровня, т.е. θ_s = - 1.39) правильно решит относительно несложное (скажем, β_i = -1.61) задание?

Как видим, вероятность правильного решения задания для этого респондента составляет 0.56. Другими словами, существует слегка превышающий «50 на 50» шанс того, что респондент решит задание правильно. Это понятно и интуитивно, поскольку выраженность признака у нашего респондента (θ_s = - 1.39) лишь слегка превышает уровень сложности задания (β_i = - 1.61). Как вы помните, уровень сложности пункта представляет собой такой уровень выраженности признака, при котором у респондента существует 50-типроцентый шанс ответить на пункт правильно. Поскольку выраженность признака у респондента несколько выше, чем сложность пункта, вероятность правильного ответа несколько превышает 0.50.

Немного более сложная измерительная модель IRT носит название двухфакторной логистической модели (2ФЛ), поскольку она включает в себя два параметра пунктов теста. Согласно этой модели, ответ респондента на бинарный пункт определяется уровнем выраженности у респондента искомого признака, сложностью пункта и дискриминативностью пункта. От модели Раша данная измерительная модель отличается тем, что сюда включен параметр дискриминативности. Эту модель можно (напр., Embertson & Reise, 2000) выразить так:

,

где α_i означает дискриминативность пункта i, при этом большие значения α_i означают большую дискриминативную способность. Модель 2ФЛ предполагает, что вероятность правильного ответа респондента на пункт обусловлена уровнем выраженности признака (θ_s), а также сложностью (β_i) и дискриминативностью (α_i) пункта. Рассмотрим снова пункты «Сколько аршинов в трех саженях?» и «Каков квадратный корень из 10 000?». Предположим, что оба пункта имеют одинаковый уровень сложности (скажем, β = - 0.5). Предположим также (как обсуждалось выше), что у них разная дискриминативная способность (например, α1 = 0.5 и α2 = 2).

Какова вероятность того, что Сьюзи, обладая относительно хорошими математическими способностями (скажем, уровнем математических способностей, на одно стандартное отклонение превышающим средний, θ = 1), правильно ответит на вопрос 1?

А какова вероятность того, что на этот вопрос правильно ответит обладающий средними познаниями в математике (θ = 0) Джонни?

Заметьте разницу. В уровне математических способностей Сьюзи на одно стандартное отклонение опережает Джонни, однако ее шанс правильного ответа больше, чем у Джонни, всего на 0.12. Это относительно большая разница в уровне выраженности признака (одно стандартное отклонение) и относительно маленькая разница в вероятности правильного ответа на пункт.

Рассмотрим теперь вероятности того, что Сьюзи и Джонни правильно ответят на вопрос 2:

Сьюзи:

Джонни:

Заметьте разницу для этого вопроса. Для Сьюзи вероятность ответить на вопрос правильно составляет 0.95, для Джонни 0.73. Разница в математических способностях все еще составляет одно стандартное отклонение, но на этот раз шанс ответить на второй вопрос правильно у Сьюзи на 22 процента больше, чем у Джонни. Как видим, по сравнению с пунктом 1, пункт 2 (тот, у которого больше дискриминативность) более отчетливо различает респондентов с разными уровнями выраженности измеряемого признака.

Модель 2ФЛ является расширением модели Раша (т.е. 1ФЛ), однако существуют и другие модели, расширяющие уже 2ФЛ. Возможно, вы не удивитесь, услышав, что существует трехфакторная логистическая модель (3ФЛ), которая добавляет в число параметров еще одну характеристику пунктов. Воздержимся от обсуждения этой модели, отметим только, что третьим параметром является поправка на вероятность угадывания. В целом, 1ФЛ, 2ФЛ и 3ФЛ – это модели измерения в IRT, которые отличаются друг от друга количеством анализируемых параметров (характеристик пунктов). Как уже отмечалось, есть по крайней мере еще один аспект, по которому различные измерительные модели IRT отличаются друг от друга.

Второе различие между моделями IRT относится к шкале, в которой измеряется ответ респондента. До сих пор рассматривались модели (1ФЛ, 2ФЛ и 3ФЛ), предназначенные для бинарных (дихотомических) пунктов. Тем не менее, множество тестов и опросников в науках о поведении содержит пункты с более чем двумя вариантами ответов. Например, многие личностные опросники содержат самоочевидные утверждения (типа «Мне нравится общаться с друзьями») и предлагают респондентам три или более варианта ответа (например, совершенно не согласен, не согласен, нейтральный ответ, согласен, полностью согласен). Такие пункты известны как пункты с множественным выбором, и для них требуются другие измерительные модели IRT, отличные от тех, которые применяются для бинарных пунктов. Примерами IRT-моделей для пунктов с множественным выбором являются модель ранжированного ответа (graded response model, Samejima, 1969) и модель частично правильных ответов (partial credit model, Masters, 1982). Хотя эти модели отличаются тем, какие типы пунктов и шкал, в которых измеряется ответ респондента, они могут анализировать, все они основаны на тех же общих принципах, что и модели для бинарных пунктов. Все эти модели основаны на идее о том, что ответ респондента на пункт определяется уровнем выраженности у респондента измеряемого признака, а также характеристиками самого пункта, такими как сложность и дискриминативность.

ПРИМЕР ИЗ ОБЛАСТИ IRT: МОДЕЛЬ РАША

Вы можете поинтересоваться, как получить коэффициенты уровня выраженности признака и сложности пункта, которые используются в описанных выше уравнениях. В реальных прикладных исследованиях для этого почти всегда используются специальные статистические программы, анализирующие ответы респондентов на некий набор пунктов. Проводить анализы, основанные на теории IRT, позволяют такие программные пакеты, как PARSCALE, BILOG и MULTILOG, в настоящее время распространяемые компанией Scientific Software International¹⁴. Хотя ранние версии этих программ обладали не слишком дружественным интерфейсом, их последние модификации становятся все проще и удобнее в использовании. Тем не менее, пример относительно простого IRT-анализа, выполненного «от руки», позволит вам лучше понять процедуру вычисления и теорию IRT в целом.

В таблице 13.1 приведены (гипотетические) ответы шести респондентов на пять пунктов теста, измеряющего математические способности. В этой матрице данных правильные ответы обозначаются как 1, неправильные – 0. На практике обычно применяются куда большие наборы данных, с большим количеством респондентов и пунктов, однако мы используем этот упрощенный пример, чтобы продемонстрировать логику IRT-анализа как можно нагляднее.

Таблица 13.1. Сырые данные для примера IRT-анализа: гипотетический пятипунктовый тест на математические способности

Респондент	Пункт 1	Пункт 2	Пункт 3	Пункт 4	Пункт 5
1	1	0	0	0	0
2	1	1	0	1	0
3	1	1	1	0	0
4	1	1	0	1	0
5	1	1	1	0	1
6	0	0	1	0	0

Важным этапом в анализе IRT является выбор подходящей измерительной модели. Заметьте, что ответы на пункты в данном примере выражены в бинарной шкале – правильно / неправильно. Поэтому пригодными для проведения анализа являются все измерительные модели, подходящие для анализа бинарных пунктов. Затем из всех таких моделей необходимо будет выбрать ту, в которой используются все интересующие исследователя параметры (характеристики) пунктов. Более сложная стратегия выбора предполагает количественную оценку того, какая из измерительных моделей «подходит» наилучшим образом, т.е. можно было бы провести анализы с использованием различных моделей, а затем определить, какую из них лучше применять для какого-либо конкретного набора данных. Для анализа приведенных данных, однако, выберем модель Раша (1ФЛ), поскольку она является простейшей.

На основе этих данных можно вычислить несколько коэффициентов. Модель Раша включает в себя два показателя, оказывающие влияние на то, как респондент отвечает на пункт – уровень выраженности искомого признака у респондента и уровень сложности самого пункта. Попробуем сначала получить всю необходимую информацию о респондентах и вычислим уровень выраженности признака для каждого из шести участников тестирования. После этого займемся вычислением сложности пунктов.

Таблица 13.2. Пример IRT-анализа: коэффициенты уровня выраженности признака и уровня сложности пунктов

Респондент	Пункт 1	Пункт 2	Пункт 3	Пункт 4	Пункт 5	Доля правильных ответов	Выраженность признака
1	1	0	0	0	0	0.20	-1.39
2	1	1	0	1	0	0.60	0.41
3	1	1	1	0	0	0.60	0.41
4	1	1	0	1	0	0.60	0.41
5	1	1	1	0	1	0.80	1.39
6	0	0	1	0	0	0.20	-1.39
Доля правильных ответов	0.83	0.67	0.50	0.33	0.17
Сложность	-1.61	-0.69	0.00	0.69	1.61

Вычисление уровня выраженности признака можно представить как двухэтапный процесс. Сначала для каждого из респондентов определяем долю правильных ответов. Доля правильных ответов респондента – это просто количество пунктов, на которые респондент дал правильный ответ, деленное на общее количество пунктов, на которые респондент ответил. Как показано в Таблице 13.1., респондент 5 правильно ответил на 4 пункта из 5 (4/5), поэтому доля правильных ответов этого респондента составляет 0.80. В Таблице 13.2 приведены доли правильных ответов для всех респондентов. Затем (на втором этапе) для определения уровней выраженности признака вычисляем натуральный логарифм отношения доли правильных ответов к доле неправильных ответов:

,

где P_s – доля правильных ответов респондента 5. Получается, что у респондента 5 довольно высокий уровень выраженности признака:

.

Как видим, выраженность признака у респондента 5 почти на полтора стандартных отклонения превышает среднюю.

Вычисление уровня сложности пунктов также можно представить как двухэтапный процесс. Сперва определяем долю правильных ответов для каждого пункта. Доля правильных ответов на пункт – это количество респондентов, правильно ответивших на данный пункт, деленное на общее количество респондентов, которые на него отвечали. Например, на пункт 1 правильный ответ был дан пятью из шести респондентов, поэтому доля правильных ответов на пункт 1 составляет 5/6 = 0.83. В Таблице 13.2 приведены доли правильных ответов для всех пунктов. Для получения коэффициента сложности пунктов вычисляем натуральный логарифм отношения доли правильных ответов к доле неправильных ответов.

,

где P_i – доля правильных ответов на пункт i. Получается, что у пункта 1 довольно невысокий уровень сложности:

.

Это означает, что даже для человека с относительно низким уровнем математических способностей (не более полутора стандартных отклонений ниже среднего) будет 50-процентная вероятность ответить на данный пункт правильно. В Таблице 13.2 приведены коэффициенты сложности всех пяти пунктов.

Таблица 13.2 содержит информацию относительно математических способностей респондентов и сложности пунктов. Эти результаты были получены с использованием приложения Microsoft Excel, а не в специализированном на IRT пакете программ. Специализированные программы (которыми и следует пользоваться для полноценного анализа IRT) проводят дополнительные вычисления и оценивают коэффициенты более точно. Эти дополнительные вычисления представляют собой итеративную (многократную) процедуру, в которой первоначальная оценка коэффициентов впоследствии уточняется в серии последовательных шагов до тех пор, пока не будет удовлетворяться заранее заданный математический критерий. Детальное описание такой процедуры выходит за пределы этой книги, однако итеративные процессы вычисления используются во многих методах многомерного статистического анализа.

ИНФОРМАТИВНОСТЬ ПУНКТОВ И ТЕСТА

Будучи психометрическим подходом, IRT предоставляет информацию о пунктах и тесте в целом. При этом для получения информации о тесте в целом в IRT-анализе объединяются характеристики отдельных пунктов. Таким образом, характеристики пунктов – такие, как сложность и дискриминативность – могут использоваться для оценки отдельных пунктов и улучшения общего качества теста.

Характеристические кривые пунктов

Рисунок 13.1. Характеристические кривые пунктов

Разработчики тестов, применяющие в своей работе IRT, для наглядного представления и оценки параметров пунктов теста часто используют т.н. характеристические кривые пунктов (Item characteristic curves, ICC). На характеристической кривой (примеры которой приведены на Рисунке 13.1) отображаются вероятности, с которыми респонденты некоторого спектра выраженности признака будут давать правильные ответы на данный пункт. Кривые, изображенные на Рисунке 13.1, основаны на гипотетических данных по пятипунктовому математическому тесту, обсуждавшихся выше. На оси X откладывается широкий спектр уровней выраженности признака, на оси Y – вероятность правильного ответа от 0 до 1.0. Для каждого пункта строится своя кривая, и можно использовать ее для нахождения вероятности того, что респондент с заданной выраженностью признака ответит на пункт правильно. Взгляните на характеристическую кривую для пункта 1 – какова вероятность того, что человек со средним уровнем математических способностей ответит на этот пункт правильно? Находим на кривой пункта 1 точку, лежащую прямо над отметкой «0» на оси X (как вы помните, выраженность признака выражается в z-оценках, поэтому 0 обозначает среднюю выраженность признака) и видим, что эта точка лежит в промежутке между 0.80 и 0.90 на оси Y. При рассмотрении остальных кривых становится очевидно, что человек со средним уровнем математических способностей имеет шанс около 0.65 для правильного ответа на второй пункт, 0.5 для правильного ответа на третий пункт, 0.17 – для пятого пункта. Таким образом, характеристические кривые содержат информацию о вероятностях, с которыми респонденты с любым уровнем выраженности признака правильно ответят на любой из пяти пунктов. Заметьте, что последовательность расположения кривых слева направо по оси X отражает уровень сложности соответствующих пунктов. Пункт 1, чья кривая лежит левее всех остальных, наименее сложен, пункт 5, чья кривая крайняя справа, наиболее сложен.

Характеристические кривые пунктов строятся на основе математических моделей, описанных выше (в нашем случае это уравнение для модели Раша). Чтобы построить характеристическую кривую пункта, можно последовательно применять соответствующую математическую модель для вычисления вероятностей правильного ответа на большом спектре уровней выраженности признака. Подставляя в уравнение значения сложности пункта и какого-либо уровня выраженности признака (например, -3.0), получаем вероятность правильного ответа на данный пункт респондента с данной выраженностью признака. Далее мы можем подставить в уравнение другой уровень выраженности признака (например, -2.9) и оценить вероятность правильного ответа для этого уровня. После повторения этой процедуры для множества различных значений выраженности признака можем просто построить график полученных вероятностей. Линия, соединяющая эти вероятности, и будет представлять собой характеристическую кривую пункта. Данная процедура проводится отдельно для каждого из пунктов теста. Для построения графика на Рисунке 13.1 было использовано приложение Microsoft Excel, при этом для пяти пунктов были вычислены 305 вероятностей (по 61 на каждый пункт) и построены их плавные линейчатые графики.

Информативность теста

С точки зрения классической теории тестов, важной психометрической характеристикой теста является надежность. Как вы помните, в классической теории тестов существует несколько коэффициентов, оценивающих надежность. Например, в качестве такой оценки надежности можно вычислить коэффициент «альфа». Здесь важно заметить, что при этом вычисляется лишь один коэффициент надежности, относящийся ко всему тесту в целом и означающий степень корреляции наблюдаемых тестовых баллов с истинным значением признака. Идея о том, что существует единая надежность для всего теста – важный аспект, по которому классическая теория тестов отличается от IRT.

С точки зрения IRT, у теста нет единой «надежности». Напротив, для одних людей тест может обладать более сильными психометрическими качествами, чем для других. Другими словами, на одних уровнях выраженности признака тест может быть более информативным, чем на других уровнях выраженности признака. Представьте четырех человек с различной выраженностью какого-либо признака – Элизабет, Мэри, Крис и Лану. Можно изобразить их «истинные» уровни выраженности признака относительно друг друга на континууме:

РИСУНОК

С точки зрения выраженности у них измеряемого психологического признака, Элизабет и Мэри находятся ниже среднего и при этом относительно мало отличаются друг от друга. Крис и Лана находятся на относительно высоком уровне выраженности признака и при этом тоже мало отличаются друг от друга.

Целью теста зачастую является дифференцировать (т.е. отличить) людей с относительно сильной выраженностью признака и людей с относительно слабой выраженностью признака. Тест является информативным в том случае, когда он способен точно определить различия между респондентами при разных уровнях выраженности признака. Возвращаясь к нашим четырем респондентам: очевидно, что даже средний с точки зрения психометрического качества тест должен быть способен уловить большое различие между двумя респондентами со слабой выраженностью признака (с одной стороны) и парой респондентов с сильной выраженностью признака (с другой стороны). Тем не менее, если исследователь хочет выявить более мелкие и более тонкие различия между Элизабет и Мэри или между Крисом и Ланой, ему понадобится тест с куда более высоким психометрическим качеством. IRT допускает возможность того, что тест может быть более пригоден для диагностики различий между Крисом и Ланой, нежели для диагностики различий между Элизабет и Мэри. Другими словами, при высоких уровнях выраженности признака тест может быть более информативен, чем при низких.

Как может тест предоставлять информацию, различающуюся в зависимости от уровня выраженности признака? Как получается так, что тест отличает людей с относительно сильно выраженным признаком, но не отличает людей с относительно слабым уровнем выраженности этого признака? Представьте себе двухпунктовый тест на математические способности:

1. Каков квадратный корень из 10 000?

2. Найдите x в следующем уравнении: 56 = 4x2 + 3y – 14.

Оба пункта требуют довольно высокого уровня математических способностей (по крайней мере, по сравнению с некоторыми другими примерами, которые можно было бы себе представить). Если у Элизабет и Мэри низкие математические способности (например, обе они умеют производить сложение и вычитание, хотя Мэри в этом немного лучше, чем Элизабет), они не дадут правильного ответа ни на один из пунктов. В связи с этим и Элиабет, и Мэри получат за выполнение теста один и тот же балл, и данный двухпунктовый тест не будет способен различить их математические способности. С другой стороны, Крис и Лана обладают хорошими математическими способностями, и каждый из них может правильно ответить по крайней мере на один из пунктов. Так как Лана несколько более способна, чем Крис, есть вероятность, что она правильно ответит даже на оба пункта, хотя Крис, скорее всего, ответит лишь на один. Таким образом, Крис и Лана могут получить за выполнение теста разные баллы. Как видим, в нашем гипотетическом примере тест способен отличить Криса от Ланы, а также пару «Крис и Лана» от пары «Элизабет и Мэри», однако тест не может дифференцировать математические способности Элизабет и Мэри. В целом, если пункты теста имеют характеристики (например, сложность), которые при одних уровнях выраженности признака представлены сильнее, чем при других, психометрическое качество теста может различаться в зависимости от выраженности признака. Рассмотренный математический тест включает в себя лишь два пункта с высоким уровнем сложности; как следствие, этот тест недостаточно информативен для диагностики различий между людьми со слабой выраженностью признака.

IRT может быть использована для точной оценки психометрического качества теста в широком спектре уровней выраженности признака. Такую оценку можно представить как двухэтапный процесс. Сначала по всему спектру уровней выраженности признака оценивается психометрическое качество каждого отдельного пункта – его информативность. Для вычисления этого показателя используются вероятности правильного ответа на данный пункт для определенного уровня выраженности данного признака (см. характеристические кривые пунктов). Информативность пункта для модели Раша вычисляется по формуле (Embertson & Reise, 2000):

,

где I(θ) – информативность пункта при уровне выраженности признака (θ), а P_i(θ) – вероятность того, что респондент с данным уровнем выраженности признака ответит на данный пункт правильно. Например, в Таблице 13.2 значение сложности для пункта 1 составляет -1.61. Для респондента с уровнем выраженности признака на три стандартных отклонения ниже среднего вероятность правильного ответа на пункт 1 составляет 0.20 (см. уравнение вероятности правильного ответа на пункт для модели Раша). Следовательно, для уровня выраженности признака, на три стандартных отклонения ниже среднего (θ = -3), значение информативности пункта 1 составляет 0.16:

Таблица 13.3. Пример IRT-анализа: вероятности правильного ответа, информативность пунктов и информативность теста для различных уровней выраженности признака

Выражен-ность признака	P(X=1 | θ) Вероятность правильного ответа					Информативность					Тест
	Пункт 1	Пункт 2	Пункт 3	Пункт 4	Пункт 5	Пункт 1	Пункт 2	Пункт 3	Пункт 4	Пункт 5
-3	0.20	0.09	0.05	0.02	0.01	0.16	0.08	0.05	0.02	0.01	0.32
-2	0.40	0.21	0.12	0.06	0.03	0.24	0.17	0.10	0.06	0.03	0.60
-1	0.65	0.42	0.27	0.16	0.07	0.23	0.24	0.20	0.13	0.06	0.86
0	0.83	0.67	0.50	0.33	0.17	0.14	0.22	0.25	0.22	0.14	0.97
1	0.93	0.84	0.73	0.58	0.35	0.06	0.13	0.20	0.24	0.23	0.86
2	0.97	0.94	0.88	0.79	0.60	0.03	0.06	0.10	0.17	0.24	0.60
3	0.99	0.98	0.95	0.91	0.80	0.01	0.02	0.05	0.08	0.16	0.32

На уровне выраженности признака, на три стандартных отклонения превышающем средний (θ = 3), значение информативности пункта 1 составляет 0.01.

Чем выше значение информативности, тем выше психометрическое качество. Следовательно, при слабой выраженности признака пункт 1 обладает более высоким психометрическим качеством, чем при сильной выраженности признака. Другими словами, этот пункт лучше дифференцирует респондентов с низким уровнем выраженности признака, чем респондентов с высоким уровнем выраженности признака (вероятно, потому, что большинство таких респондентов отвечает на пункт правильно). В Таблице 13.3 содержатся вероятности правильного ответа и коэффициенты информативности для каждого пункта на семи различных уровнях выраженности признака. Вычислив значения информативности для гораздо большего количества уровней выраженности признака, мы можем представить результаты графически, в виде т.н. кривых информативности пунктов.

На Рисунке 13.2 представлены кривые информативности каждого из пунктов гипотетического примера (пятипунктового теста на математические способности). Заметьте, что высота кривой отражает количество информации, обеспечиваемой пунктом. Высшая точка на кривой относится к такому уровню выраженности признака, при котором пункт является наиболее информативным. Фактически пункт наиболее информативен при таком уровне выраженности признака, который совпадает с уровнем его сложности. Например, пункт 1 (наименее сложный) наиболее информативен при выраженности признака -1.61, и это же значение является уровнем сложности данного пункта. С другой стороны, пункт 1 мало информативен при выраженности признака выше среднего. Заметьте также, что точка наибольшей информативности отличается от пункта к пункту. Пункт 1 наиболее информативен при относительно низких уровнях выраженности признака, пункт 3 – при средних уровнях, пункт 5 – при относительно высоких.

Конечно, при использовании психологического теста нас больше интересует качество этого теста в целом, а не качество отдельных его пунктов. Можно обобщить коэффициенты информативности пунктов и получить показатели информативности всего теста. Для этого значения информативности пунктов при каком-либо конкретном уровне выраженности признака складываются друг с другом, и получается коэффициент информативности теста при данном уровне выраженности признака. В таблице 13.3 приведены коэффициенты информативности гипотетического пятипунктового математического теста для семи различных уровней выраженности признака. Например, показатель информативности теста при средней выраженности признака (θ = 0) равняется простой сумме коэффициентов информативности пунктов при θ = 0.

0.97 = 0.14 + 0.22 + 0.25 + 0.22 + 0.14.

Аналогичным образом, вычислив коэффициенты информативности теста на множестве различных уровней выраженности признака, можно изобразить результаты графически, в виде кривой информативности теста (Рисунок 13.2).

Кривая информативности теста полезна для демонстрации качества той информации, которую тест дает при различных уровнях выраженности у респондента измеряемого признака. Заметьте, что рассмотренный гипотетический тест наиболее информативен при средней выраженности признака и наименее информативен в крайних случаях. Другими словами, наилучшим образом данный тест дифференцирует респондентов, у которых степень выраженности измеряемого признака не выходит за пределы одного или двух стандартных отклонений в какую-либо сторону от среднего. И наоборот, тест относительно плохо работает для тех респондентов, выраженность признака у которых более чем на два стандартных отклонения ниже средней, а также для тех респондентов, у которых выраженность признака более чем на два стандартных отклонения превышает среднюю.

Рисунок 13.2. Кривые информативности пунктов и теста

Задумайтесь вновь о различиях между IRT и классической теорией тестов с точки зрения их подходов к пониманию надежности. С позиций классической теории, тест обладает единой надежностью, которую можно оценить, например, при помощи коэффициента «альфа». С позиций IRT, психометрическое качество теста может быть различным при различной выраженности у респондента измеряемого признака. При всей его важности, это различие двух психометрических подходов иногда недооценивается.

ОБЛАСТИ ПРИМЕНЕНИЯ IRT

Пунктовая теория тестов (IRT) – это теоретический подход, предлагающий свои вычислительные модели, которые применяются сегодня для проведения измерений во множестве областей психологии. Вероятно, коэффициенты сложности и дискриминативности пунктов интуитивно наиболее очевидны в сфере измерения способностей. В самом деле, на протяжении нескольких лет Служба тестирования в образовании (Educational Testing Service) использовала IRT как психометрическую основу для теста академических способностей SAT. Кроме того, несколько штатов США используют IRT в качестве основы для диагностики достижений в системе государственных школ. Помимо измерения способностей, IRT применялся и для диагностики отношений (напр., Strong, Breen, & Lejuez, 2004) и личностных черт (Chernyshenko, Stark, Chan, Drasgow, & Williams, 2001; Fraley, Waller, & Brennan, 2000).

Разработка и усовершенствование тестов

Фундаментальным приложением IRT является оценка и усовершенствование психометрических характеристик пунктов и тестов. Используя информацию о характеристиках отдельных пунктов, разработчики тестов могут отбирать пункты, отражающие достаточный спектр уровней выраженности измеряемого признака и обладающие достаточной дискриминативной способностью. Такой отбор пунктов, осуществляемый на основе IRT-анализа, может привести к созданию теста, обладающего высокими психометрическими качествами на широком спектре уровней выраженности признака.

К примеру, Fraley с коллегами (Fraley et al., 2000) применяли IRT для изучения психометрических качеств четырех опросников (всего 12 субшкал), направленных на измерение привязанности к взрослым. Вычислив и построив графики кривых информативности теста для каждой из субшкал, Fraley с коллегами обнаружили, что субшкалы одного из опросников (Переживания в близких взаимоотношениях – Experiences in Close Relationships, ECR; K.A.Brennan, Clark, & Shaver, 1998) являются более информативными по сравнению с субшкалами трех других опросников. В дальнейшем Fraley и коллеги использовали IRT для сопровождения и оценки модификаций, вносимых ими в субшкалы ECR. В результате таких модификаций были созданы улучшенные субшкалы ECR, показатели информативности которых были выше, чем у первоначальных. Стоит отметить, что этого повышения в информативности теста удалось добиться, не увеличивая количества пунктов.

Дифференциальное функционирование пунктов

Ранее в этой книге говорилось о систематической ошибке теста (test bias). В рамках IRT можно проводить анализы, направленные на выявление и оценку характера дифференциального функционирования пунктов (DIF – differential item functioning). О дифференциальном функционировании пункта говорят тогда, когда характеристики пункта в одной группе отличаются от его характеристик в другой группе. Например, дифференциальное функционирование пункта (DIF) можно констатировать тогда, когда уровень сложности данного пункта для мужчин отличается от уровня его сложности для женщин. Другими словами, наличие дифференциального функционирования пункта означает, что для мужчины и женщины с одинаковым уровнем выраженности признака вероятность правильного ответа на пункт, тем не менее, различается. Наличие дифференциального функционирования пункта (DIF) в двух группах говорит о том, что данные группы нельзя сравнивать по результатам ответа на данный пункт.

Smith и Reise (L.L.Smith & Reise, 1998), к примеру, использовали IRT для изучения дифференциального функционирования пунктов для лиц мужского и женского пола в шкале стрессовых реакций, входящей в Многомерный личностный опросник (Multidimensional Personality Questionnaire, MPQ; Tellegen, 1982). Шкала стрессовых реакций измеряет склонность респондента испытывать негативные эмоции, такие как тревога или чувство вины, и предшествующие исследования показали, что средний балл по данной шкале в мужской и женской выборках различается. Smith и Reise утверждали, что такая разница может отражать либо истинные различия между мужчинами и женщинами по данной личностной черте, либо же особенности дифференциального функционирования пунктов в шкале. Проведенный ими анализ показал, что феномен дифференциального функционирования присутствует у нескольких пунктов, хотя женщины действительно набирали по шкале стрессовых реакций более высокие баллы, чем мужчины. Кроме того, анализ вскрыл интересный психологический смысл тех пунктов, которые демонстрировали дифференциальное функционирование. Оказалось, что с пунктами, связанными с «эмоциональной уязвимостью и чувствительностью в ситуациях, предполагающих самооценку» легче соглашаются респонденты женского пола, тогда как с пунктами, связанными с «общим переживанием нервного напряжения, необъяснимого спада настроения, раздражения, разочарования и несдержанности» (с.1359), легче соглашаются респонденты мужского пола. Smith и Reise заключают, что опросники, направленные на измерение склонности к негативным эмоциональным переживаниям, будут давать большие половые различия, если в них входит большое количество «женских дифференциально-функционирующих пунктов», и незначительные половые различия, если в них входит большое количество «мужских дифференциально-функционирующих пунктов». Такого рода открытия могут способствовать развитию и более ясному пониманию важных психологических измерений.

Анализ соответствия респондента

Другая интересная область применения IRT связана с явлением, называемым соответствие респондента (person fit; Meijer & Sijtsma, 2001). Бывает, что при анализе результатов психологического тестирования выявляется респондент, чей паттерн ответов по сравнению с типичными ответами выглядит странным. Рассмотрим два пункта, которые гипотетически могли бы входить в опросник дружелюбности:

1. Мне нравятся мои друзья.

2. Я хочу давать своим друзьям взаймы столько денег, сколько бы им ни понадобилось.

Большинство людей, вероятно, согласится с первым утверждением (т.е. это «легкий» пункт). С другой стороны, со вторым утверждением согласятся, вероятно, уже не так много респондентов. Хотя большинству из нас нравятся друзья, и мы хотели бы помогать им, не все мы хотим «давать им взаймы столько денег, сколько бы им ни понадобилось». Несомненно, те из нас, кто готов одолжить друзьям любую сумму денег, скорее всего, скажут, что им нравятся их друзья (т.е. согласятся с первым утверждением). Другими словами, нет ничего удивительного в том, что человек, готовый одолжить друзьям любую сумму денег, любит своих друзей; однако весьма странно, когда человек готов одолжить друзьям любую сумму денег и одновременно заявляет, что его друзья ему не нравятся. Всего в данном примере существует четыре возможных паттерна ответов, и три из них легко поддаются интерпретации.

Паттерн ответов	Пункт 1	Пункт 2	Интерпретация
1	Не согласен	Не согласен	Недружелюбный человек
2	Согласен	Не согласен	Умеренно дружелюбный человек
3	Согласен	Согласен	Очень дружелюбный человек
4	Не согласен	Согласен	Неоднозначная интерпретация

Анализ соответствия респондентов – это попытка выявить тех респондентов, чьи паттерны ответов на некоторый набор пунктов не соответствуют ожидаемым. Несмотря на то, что существует несколько подходов к анализу соответствия респондентов (Meijer & Sijtsma, 2001), их общий алгоритм заключается в том, что сначала с помощью IRT вычисляются характеристики (параметры) пунктов, а затем ищутся респонденты, чьи ответы на пункты не соответствуют этим параметрам. Например, IRT-анализ мог бы показать, что приведенный выше пункт 1 обладает низким уровнем сложности (т.е. для того, чтобы согласиться с этим утверждением, ярко выраженной дружелюбности не требуется), а пункт 2 – высоким уровнем сложности. Было бы необычно обнаружить респондента, который соглашается со «сложным» пунктом и не соглашается с «простым».

Факт обнаружения респондентов с низкой степенью соответствия некоторому набору пунктов может иметь несколько объяснений. Низкая степень соответствия может свидетельствовать о нечестных ответах или списывании, заполнении теста наугад, сниженной мотивации респондентов, культурной зависимости теста и его культурных искажениях, даже об ошибках в администрировании теста и процедуре подсчета баллов (N.Schmitt, Chan, Sacco, McFarland, & Jennings, 1999). Кроме того, в контексте измерения личностных черт низкая степень соответствия может означать, что респондент обладает уникальной личностью, индивидуальностью, т.е. его паттерн ответов на предъявляемые пункты не похож ни на один из «типично ожидаемых» вариантов (Reise & Waller, 1993).

Компьютерное адаптивное тестирование

Еще одна область применения, которая зачастую ассоциируется с IRT, носит название «компьютерное адаптивное тестирование» (КАТ). КАТ – это метод компьютерного администрирования теста, направленный на обеспечение точных и очень эффективных оценок уровня выраженности признака у респондента. В компьютерном адаптивном тестировании используется очень большая база пунктов, каждый из которых прошел процедуру оценки психометрического качества в IRT-анализе. Представьте, к примеру, что администраторы теста набирают базу из 300 пунктов и проводят психометрическое исследование, вычисляя для каждого из пунктов коэффициент сложности. Как вы помните, сложность пункта взаимосвязана с выраженностью признака: уровень сложности пункта – это уровень выраженности признака, необходимый для того, чтобы вероятность правильного ответа респондента на пункт составляла 0.50. Коэффициенты сложности всех пунктов вносятся в компьютерную базу данных.

Когда респондент начинает выполнение теста, компьютер выдает ему задания со средним уровнем сложности (около 0), т.е. предназначенные для людей со средним уровнем выраженности признака. Затем компьютер начинает адаптировать тест, подгоняя его к уровню выраженности у респондента измеряемого признака. Если тестируемый на несколько первых вопросов отвечает правильно, компьютер выбирает из базы данных пункты с чуть более высоким уровнем сложности. Если же респондент на несколько первых пунктов ответил неправильно, компьютер выбирает из базы данных (и предоставляет респонденту) пункты с чуть более низким уровнем сложности. Заметьте, может так получиться, что два респондента будут отвечать на практически полностью различные наборы пунктов.

По мере того, как респондент продолжает заполнение теста, компьютер продолжает подбор наиболее подходящих для него пунктов. Компьютерная программа отслеживает ответы тестируемого на конкретные пункты с известными коэффициентами сложности и производит постоянную переоценку уровня выраженности признака. Компьютер останавливает тестирование тогда, когда респонденту было предъявлено достаточное количество пунктов для достоверной финальной оценки уровня выраженности у него измеряемого в тесте признака.

Интересно, что точность и эффективность компьютерных адаптивных тестов достигается за счет того, что разным респондентам предоставляются разные, по сути, тесты. На первый взгляд может показаться, что это противоречит здравому смыслу. Но вспомните, какова цель компьютерного адаптивного тестирования – предоставлять респонденту такие пункты, которые соответствуют уровню выраженности у него измеряемого признака. Другими словами, компьютер предоставляет только такие пункты, которые на самом деле способны точно диагностировать данного конкретного тестируемого. Если очевидно, что у респондента высоко развита какая-то способность, необязательно заставлять его отвечать на очень простые пункты. С другой стороны, если очевидно, что у респондента данная способность не развита, заставляя его отвечать на сложные пункты теста, мы не узнаем ничего нового. Таким образом, вместо предоставления всего набора из 300 пунктов всем респондентам, программа компьютерного адаптивного тестирования выдает респонденту столько пунктов, сколько необходимо для точного измерения уровня выраженности у него искомого признака (и вероятно, это количество пунктов будет значительно меньше 300). Данный метод администрирования теста более эффективен и меньше раздражает респондентов.

Главным образом, компьютерное адаптивное тестирование использовалось в диагностике способностей, знаний и достижений. Например, Государственный совет местных объединений медсестер (National Council of State Boards of Nursing - NCSBN) обеспечивает стандарты лицензирования и выдачи патентов медсестрам в США. Для получения патента медсестре необходимо пройти компьютерное адаптивное тестирование, которое использует базу из почти 2000 пунктов с заранее установленными коэффициентами сложности. Интернет-сайт NCSBN уверяет кандидатов на получение патента в том, что «КАТ обеспечивает повышенную эффективность измерения и использует только те пункты, которые наилучшим образом диагностируют способности кандидата» (NCSBN, 2006). Экзамен на получение последипломного образования GRE (Graduate Record Examination) на момент написания этих строк также проводится главным образом с помощью компьютерного адаптивного тестирования. Интернет-сайт GRE сообщает читателю о том, что компьютеризированные версии тестов «приспособлены под уровень вашей успеваемости и обеспечивают точную информацию о ваших способностях, используя при этом меньшее количество вопросов, чем традиционные бумажные тесты» (Educational Testing Service, 2006).

РЕЗЮМЕ

В целом IRT представляет собой психометрический подход, имеющий, как утверждается, несколько преимуществ по сравнению с традиционной классической теорией тестов (CTT). IRT объединяет в себе разнообразные статистические модели, связывающие между собой тот или иной ответ респондента на пункт, уровень выраженности у респондента некоторого признака и ряд параметров самих пунктов. Знание параметров пунктов, таких как сложность и дискриминативность, может способствовать развитию и лучшему пониманию психологических тестов.

IRT-анализы сложны с вычислительной точки зрения, однако для проведения этих анализов существует специализированное программное обеспечение, которое становится все более простым и удобным в использовании. Дальнейшее использование и исследование IRT покажет, насколько и в чем именно эта теория превосходит классическую теорию тестов на практике.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА

Доступное введение в ряд разделов IRT, ориентированное на психологов:

Embertson, S.E., & Reise, S. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum.

Это классическая для истории IRT публикация:

Lord, F.M. (1953). The relation of test score to the trait underlying the test. Educational and Psychological Measurement, 13, 517 – 548.

Доступное обсуждение методов и проблем использования IRT в диагностике личностных черт:

Reise, S.P., & Henson, J.M. (2003). A discussion of modern versus traditional psychometrics as applied to personality assessment scales. Journal of Personality Assessment, 81, 93 – 103.

В этом источнике содержится всестороннее и тщательное описание множества вопросов, связанных с использованием модели Раша (1ФЛ):

Bond, T.G., & Fox, C.M. (2001). Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah, NJ: Lawrence Erlbaum.

Хороший пример применения IRT к психологическим данным:

Fraley, R.C., Waller, N.G., & Brannan, K.A. (2000). An item-response theory analysis of self-report measures of adult attachment. Journal of Personality and Social Psychology, 78, 350-365.

Хорошее описание теоретических основ IRT:

Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage. тестирование тогда, когда респонденту было предъявлено достаточное количество пунктов для , на некоторыености разочарования и ряжения, пола, в ситуациях, предполагающих самооценкунстрировали дифференциальное функционировани(а оси на кривой пункта 1 точку, лежащую прямо над отметкой "х способностей ответит на этот пункт правильно? нт с заданной выра

1 Термин «пункт» при переводе мы применяем как обобщенное обозначение вопросов, утверждений или заданий теста (прим.перев.)

2 Тест академических способностей (Scholastic Aptitude Test, SAT) широко используется в США для оценки академических знаний выпускников школ. Тест предполагает знание всех предметов в рамках программы средней школы и широко используется приемными комиссиями для диагностики готовности к обучению в колледже. SAT был разработан некоммерческой организацией «Совет колледжей» (Gollege Council). (прим.перев.)

3 В англоязычном варианте «дискриминантная» (discriminant) валидность, однако мы даем перевод «дивергентная» по причине распространенности этого варианта в русскоязычной литературе, а также во избежание путаницы с дискриминативностью пунктов теста. (прим.перев.)

4 GPA (Grade Point Average) – широко используемый в США усредненный показатель успеваемости. Его особенность заключается в том, что он зависит от двух параметров – количество отработанных часов и полученные отметки. Значение GPA, как правило, варьируется от 0 до 4 (прим.перев.)

5 Термины «вариативность» и «дисперсия» используются нами как взаимозаменяемые (прим.перев.)

6 Имеется в виду стобалльная система оценки, которая затем переводится в показатель GPA от 0 до 4 (прим.перев).

7 В психометрической литературе первоначально термин «установка на согласие» (acquiescence bias) применялся по отношению к склонности респондента на все вопросы и утверждения теста отвечать «да». В дальнейшем содержание термина расширилось, и он стал применяться по отношению и к тем случаям, когда респондент на все вопросы отвечает «нет». (прим.перев.)

8 Англоязычный термин – malingering – зачастую в специализированных словарях переводится просто как «симуляция». (прим.перев.)

9 GRE (Graduate Record Examination) – экзамен на получение последипломного образования, который во многих университетах и колледжах США требуется для поступления в аспирантуру. (прим. перев.).

10 В оригинале используются следующие термины: response bias, response sets и response styles. Термин response bias в сущности обозначает «систематическую ошибку ответа на утверждение теста, обусловленную не самим содержанием утверждения, а другими факторами». Само слово bias означает «крен», «перекос». Для краткости мы переводим термин response bias как «установка на ответ», следуя при этом традициям, заложенным в классическом для российской психодиагностики переводном тексте П.Клайна «Справочное руководство по конструированию тестов» (установка на согласие, установка на социальную желательность и т.д.). Термин response set означает всю совокупность факторов, связанных с ситуацией тестирования, которые могут оказывать влияние на тот или иной ответ респондента. Термин response style переводится как «стиль ответов». Во избежание путаницы мы взяли на себя смелость перевести данные термины упрощенно: внешние (response sets) и внутренние (response styles) факторы, влияющие на установку респондента на ответ (response bias). Следует иметь в виду, что в англоязычной литературе понятия «внешних» и «внутренних» факторов в этой связи как самостоятельные термины не используются. (прим.перев.)

11 ACT (American College Test) – еще один популярный в США тест для поступления в колледж. От SAT он отличается прежде всего своим более сильным акцентом на знания в конкретных предметных областях, а не на общие неспецифические склонности и умения. (прим.перев.)

12 Для личностных опросников «правильно ответить на пункт» означает «согласиться с утверждением». Более подробно этот момент будет прояснен в Главе 13 этой книги при обсуждении теории IRT (прим.перев.)

13 В русскоязычной литературе встречается немалое разнообразие вариантов перевода этого названия, среди них: «теория ответов на задания теста», «теория тестовых заданий», «теория моделирования и параметризации тестов», «современная теория тестов», «алгоритмическая теория измерений» и т.д., однако абсолютного русскоязычного эквивалента не существует. Тем не менее, сложилась традиция использовать англоязычную аббревиатуру – IRT, чем мы и воспользуемся. Вместе с тем мы предлагаем и свой вариант перевода – «пунктовая теория тестов», аргументируя это тем, что классическая теория, в отличие от IRT, ориентирована не на параметры отдельных пунктов, а на закономерности их взаимосвязи, в частности, на достижение гомогенности (согласованности) пунктов, входящих в одну шкалу. (прим. перев.).

14 На сайте компании (www.ssicentral.com) доступны бесплатные демо-версии этих программ, полностью функциональные в течение 15 дней. (прим. перев.).