Глава 9 валидность вычисление и оценка конвергентной и дивергентной валидности

В предыдущей главе были представлены теоретические основы валидности и обобщены те виды эмпирических данных, которые могут использоваться для оценки конструктной валидности. Было показано, что конвергентная и дивергентная валидность выражает то, насколько «правильны» паттерны взаимосвязи тестовых баллов с другими переменными. В данной главе будет приведено более подробное объяснение методов оценки ковергентной и дивергентной валидности, а также обсуждение вопросов, касающихся интерпретации соответствующих показателей.

Как уже говорилось, психологические конструкты окружены неким теоретическим контекстом. Другими словами, концептуальное основание конструкта включает в себя взаимосвязи между данным конструктом и рядом других психологических конструктов. Такие взаимосвязи получили название «номологическая сеть», т.е. сеть «значений», окружающих конструкт (Cronbach & Meehl, 1955). Так, Baumeister и Leary (1995) ввели в обиход понятие «потребности в принадлежности», которое было ими определено как «стремление формировать и поддерживать по крайней мере минимальное количество продолжительных, позитивных и значимых межличностных взаимоотношений» (с.497). Хотя они и предполагали, что потребность в принадлежности – одна из фундаментальных для человека, по их наблюдениям оказалось, что разные люди испытывают эту потребность в разной степени. Некоторые испытывают относительно высокую потребность в частых межличностных взаимодействиях на основе близости и заботы, некоторые же, похоже, нуждаются в таких взаимодействиях меньше. Leary, Kelly, Cottrell и Schreindorfer (2006) описывали номологическую сеть, окружающую конструкт потребности в принадлежности. Они предположили, что потребность в принадлежности чем-то похожа на такие характеристики, как потребность в аффилиации, стремление к близости (интимности), общительность и экстраверсия. Кроме того, потребность в принадлежности, по их мнению, совсем не должна быть связана с такими конструктами, как добросовестность, открытость опыту и самооценка.

Номологическая сеть взаимосвязей между конструктами предполагает определенную картину взаимосвязей между баллами тестов, направленных на измерение этих конструктов. Номологическая сеть, окружающая конструкт, подразумевает, что соответствующий тест должен коррелировать с другими тестами, измеряющими другие конструкты, причем в одних случаях ожидаются сильные корреляции, в других – слабые. Например, Leary с коллегами (2006) прогнозировали, что разработанный ими десятипунктовый тест на потребность в принадлежности (Need to Belong, NTB) будет обладать слабыми или умеренными взаимосвязями с тестами на потребность в аффилиации, стремление к близости и экстраверсию, отрицательно коррелировать с тестом социальной изоляции и практически не будет обладать корреляциями с тестами на добросовестность, открытость опыту и самооценку. Эти прогнозы в дальнейшем использовались для оценки конвергентной и дивергентной валидности NTB.

Ключевой частью процесса валидизации является оценка степени соответствия реальной и спрогнозированной картины корреляций. В данной главе представлены некоторые методы, использующиеся для этого, а также некоторые факторы, влияющие на результат этой проверки, и некоторые базовые соображения в плане интерпретации результатов анализа.

МЕТОДЫ ОЦЕНКИ КОНВЕРГЕНТНОЙ И ДИВЕРГЕНТНОЙ ВАЛИДНОСТИ

Существует по меньшей мере четыре метода оценки конвергентного и дивергентного характера взаимосвязей между тестами. Все они отличаются по нескольким аспектам: концептуальная сложность, статистическая сложность, необходимость в четко выраженных и конкретных прогнозах. Одни из них относительно новы, возраст же других насчитывает десятилетия. Несмотря на эти различия, описанные ниже методы являются (или же могут стать) полезными и распространенными способами оценки конвергентной и дивергентной валидности теста.

Единичные корреляции

Некоторые тесты имеют явное отношение к небольшому четко очерченному набору переменных. Оценка валидности таких тестов может быть сфокусирована на взаимосвязях между тестовыми баллами и этими немногочисленными переменными. В каком-то смысле данные взаимосвязи являются ключевой точкой принятия решения о конвергентной или дивергентной валидности теста в терминах «да или нет» (третьего не дано). Если полученная корреляция совпадает с прогнозом, это является сильным свидетельством в пользу валидности; если же полученная корреляция с прогнозом не совпадает, это является серьезным поводом для сомнения в качестве теста.

Как говорилось в предыдущей главе, субтест SAT на логическое мышление направлен на измерение «навыков критического мышления, [необходимых] для достижения успеха при обучении в колледже» (College Board, 2006). В этом определении предполагается, что для оценки субтеста SAT на мышление особый интерес представляют две переменные. Во-первых, будучи мерой сформированности «навыков критического мышления», SAT должен коррелировать с другими тестами на критическое мышление. Во-вторых, поскольку исследуемый конструкт необходим для «успешного обучения в колледже», SAT должен коррелировать с показателем академической успеваемости.

Исследуя качество теста SAT, Совет колледжей в основном заинтересован во взаимосвязях между тестовым баллом SAT и показателем академической успеваемости. В ряде документов, предоставляемых студентам, преподавателям и исследователям, акцентируется взаимосвязь тестового балла по SAT и таким показателем, как оценки за первый год обучения в колледже. К примеру, Программное руководство по SAT, выпущенное Советом колледжей для школьных психологов и специалистов приемных комиссий, включает в себя несколько упоминаний валидности (College Board, 2006). В первом разделе Руководства, посвященном валидности, указано, что по результатам исследования свыше 110 000 студентов из более чем 25 колледжей средний коэффициент корреляции между тестовым баллом по SAT и отметками первокурсников составил 0.55. В дальнейшем в Руководстве упоминаются и другие исследования, посвященные возможностям прогноза отметок по тестовым баллам SAT. Очевидно, что College Board сосредоточивает все аргументы относительно валидности теста на корреляциях между SAT и определенным набором критериальных переменных, связанных с академической успеваемостью в колледже.

Таким образом, первый метод оценки валидности интерпретации тестовых баллов – фокусировка на небольшом количестве релевантных критериальных переменных. Если тестовые баллы в действительности взаимосвязаны с этими ключевыми переменными, доверие разработчиков и пользователей к тесту повышается. Данные корреляции, называемые иногда коэффициентами валидности, имеют для исследования валидности фундаментальный смысл. Если по результатам исследований оказывается, что коэффициенты валидности теста высоки, высока будет и уверенность разработчиков, пользователей и оценщиков теста в его способности качественно измерить изучаемый конструкт.

Обобщение показателей валидности – это процесс оценки коэффициентов валидности теста, полученных в большом массиве исследований (F.L.Schmidt, 1988; F.L.Schmidt & Hunter, 1977). В отличие от SAT, многие тесты, используемые в науках о поведении, разрабатывались в рамках относительно немногочисленных исследований. Фактически, многие (если даже не все) исследования валидности основаны на выборках менее 400 человек – особенно в тех случаях, когда в исследовании использовались еще какие-то данные кроме самооценочных. В большинстве случаев исследователь, проводящий валидизацию теста, набирает одну выборку от 50 до 400 респондентов, проводит тестирование этих респондентов по исследуемому тесту, измеряет дополнительные критериальные переменные и вычисляет корреляцию между этими переменными и тестовыми баллами. Подобного рода исследования составляют основу многих диагностических инструментов, используемых для исследований в области психологии личности, клинической психологии, психологии развития, социальной психологии, организационной психологии и психологии образования. Отдельные исследования валидности зачастую включают в себя относительно небольшие выборки, что обусловлено ограниченностью времени, финансирования и других ресурсов исследователя.

Несмотря на то, что исследования, использующие относительно небольшие выборки, довольно распространены, а их проведение подкреплено целым рядом практических соображений, всем этим исследованиям присущ потенциально важный недостаток. Исследование, проведенное в одной географической местности с одной небольшой выборкой, может привести к обнаружению приемлемых показателей конвергентной и дивергентной валидности теста, однако результаты могут не распространяться на другие географические местности или другие выборки.

Например, результаты исследования банковских служащих могли бы свидетельствовать о том, что баллы по шкале «Добросовестность» опросника NEO-PI-R довольно хорошо прогнозируют профессиональную успешность банковских служащих. Несмотря на то, что эта информация может оказаться ценной и полезной для менеджеров по персоналу в банковской сфере, означает ли это, что она будет так же полезна для бухгалтеров, сферы недвижимости или индустрии продаж? Другими словами, является ли корреляция между баллами по шкале добросовестности и профессиональной успешностью такой сильной только лишь для банковских служащих, распространяется ли эта корреляция на другие выборки? Возможно также, в некоторых областях занятости добросовестность играет большую роль, а в некоторых – нет. Если это так, нам не следует полагать, что NEO-PI-R не дает валидного прогноза профессиональной успешности во всех профессиях.

Исследования по обобщению показателей валидности ставят своей целью оценку предсказательной способности тестовых баллов в широком спектре условий, ситуаций, временных контекстов и т.д. Исследование по обобщению показателей валидности представляет собой одну из форм мета-анализа, при котором результаты нескольких отдельных исследований объединяются и количественно обобщаются (F.L.Schmidt, Hunter, Pearlman, & Hirsh, 1985). Например, представим себе, что было проведено 25 исследований, в которых оценивалась взаимосвязь шкалы добросовестности из опросника NEO-PI-R и профессиональной успешности работника. В одном из этих исследований использовались банковские служащие, в другом выборку составили школьные учителя, в третьем – продавцы, и т.д. Во всех этих исследованиях были использованы разные выборки, но не исключено также, что во всех этих исследованиях использовались и разные инструменты измерения профессиональной успешности. Например, в некоторых случаях оценка могла производиться путем экспертной оценки работников менеджерами по персоналу, в некоторых случаях оценка могла быть более объективной, например, по количеству вырученных на сделках денег. Таким образом, в результате можно было бы обнаружить, что анализируемые 25 исследований привели к получению достаточно разных данных относительно взаимосвязи добросовестности и профессиональной успешности.

Исследования по обобщению показателей валидности могут направлены на решение как минимум трех важных проблем. Во-первых, они могут выявить общий уровень прогностической валидности при обобщении всех отдельных и не столь масштабных исследований. Например, средний коэффициент корреляции между шкалой добросовестности NEO-PI-R и профессиональной успешностью для 25 гипотетических исследований, рассматриваемых нами, мог бы составить 0.30. Во-вторых, исследования по обобщению показателей валидности могут показать степень вариативности⁵ в результатах отдельных небольших исследований. В рассматриваемом случае могли бы быть получены данные, скажем, о том, что в некоторых исследованиях коэффициент корреляции между шкалой добросовестности и профессиональной успешностью достаточно высок (например, от 0.40 до 0.50), тогда как в других исследованиях этот коэффициент достаточно низок (например, от 0 до 0.10). В таком случае мог бы быть сделан вывод о том, что взаимосвязь между шкалой добросовестности NEO-PI-R и профессиональной успешностью не распространяется на все исследования. При другом раскладе событий могли бы быть получены данные о том, что во всех 25 исследованиях обнаружены умеренные корреляции между данными двумя переменными (например, от 0.20 до 0.40). В данном случае, поскольку степень вариативности полученных данных меньше, можно было бы заключить, что взаимосвязь между добросовестностью и профессиональной успешностью распространяется на все выборки и исследования. В любом случае полученные данные предоставили бы немаловажную информацию для оценки валидности NEO-PI-R и для использования этого опросника в принятии решений о найме.

Третья проблема, которую можно решать средствами обобщения показателей валидности, это проблема источников вариативности отдельных исследований. Если первоначальный статистический анализ выявил широкий разброс коэффициентов валидности в различных исследованиях, дальнейший анализ может быть направлен на выявление того, с чем связаны эти различия. Например, таким образом можно обнаружить методологические различия между отдельными исследованиями, которые оказываются связанными с результатами, получаемыми в этих исследованиях. Можно было бы обнаружить, скажем, что высокие коэффициенты валидности принадлежат исследованиям, где профессиональную успешность работников оценивали менеджеры по персоналу, тогда как в исследованиях, использовавших в качестве показателя профессиональной успешности более объективные показатели (например, выручку), получались более низкие коэффициенты валидности. В таком случае различия в методах измерения критериальной переменной вносят вклад в различия коэффициентов валидности. Такого рода методологические источники вариативности следует учитывать при оценке степени применимости среднего коэффициента валидности к различным исследованиям и выборкам.

Таким образом, некоторые психологические тесты, как ожидается, должны быть взаимосвязаны в первую очередь с небольшим количеством специфических переменных. Если результаты исследования подтверждают сильную корреляцию теста с некоторой специфической критериальной переменной, разработчики, пользователи и оценщики теста получают свидетельство того, что тестовые баллы, отражающие измеряемый психологический конструкт, обладают хорошей конвергентной валидностью. Чтобы оценить степень того, насколько взаимосвязь между тестом и критериальной переменной может быть распространена на другие исследования, выборки, условия и т.д., следует использовать мета-анализ показателей валидности.

Наборы корреляций

Номологическая сеть, окружающая конструкт, не всегда сфокусирована на небольшом количестве релевантных конструкту критериальных переменных. Иногда номологическая сеть исследуемого конструкта затрагивает множество других конструктов, и сила их взаимосвязи варьируется. В таких случаях исследователь, оценивающий конвергентную и дивергентную валидность теста, должен изучить широкий спектр критериальных переменных.

Для этого исследователи зачастую вычисляют коэффициенты корреляции исследуемого теста с большим количеством показателей критериальных переменных, после чего «просматривают» полученные корреляции и выносят несколько субъективное решение относительно того, насколько полученная картина взаимосвязей соответствует гипотетически ожидаемой.

К примеру, Hill с коллегами (2004) разработали новый опросник перфекционизма (PI) и опубликовали результаты его конвергентной и дивергентной валидности. Опросник разработан для измерения восьми компонентов перфекционизма, то есть авторы заложили в него многокомпонентную структуру (см. обсуждение внутренней структуры теста в предыдущей главе). Среди компонентов перфекционизма, входящих в авторский конструкт, - озабоченность по поводу совершения ошибок, организованность, склонность к планированию, стремление к совершенству и потребность в одобрении. Для оценки конвергентной и дивергентной валидности опросника в исследовании наряду с PI использовались еще 23 критериальных переменных. Критериальные переменные включали в себя другие (уже существующие) тесты на перфекционизм, а также, поскольку перфекционизм теоретически может быть связан с разнообразными психологическими нарушениями, методики измерения нескольких психологических симптомов (например, обсессивно-компульсивного расстройства, тревоги и боязни получить отрицательную оценку). Корреляции между шкалами PI и шкалами 23 критериальных переменных были представлены в виде корреляционной матрицы, состоящей более чем из 200 ячеек (см. Таблицу 9.1).

Оценивая конвергентную и дивергентную валидность опросника, Hill с коллегами (2004) внимательно изучили полученную картину взаимосвязей и проинтерпретировали ее в соответствии с исходными теоретическими предположениями. Например, было замечено, что шкала «Озабоченность по поводу совершения ошибок» опросника PI имеет сильную корреляцию с аналогичной шкалой из другого теста перфекционизма. Кроме того, было замечено, что шкала «Стремление к совершенству» имела сильные корреляции с такими шкалами других тестов перфекционизма, как «Личностные стандарты» (шкала, выражающая высокие ожидания респондента по поводу собственной успешности и склонность основывать на успешности свою самооценку) и «Самоориентированный перфекционизм» (шкала, выражающая нереалистичные притязания и склонность к фиксации на ошибках и моментах несовершенства в выполняемой деятельности). Кроме того, были изучены взаимосвязи шкал PI с различными показателями неблагополучия. Например, было обнаружено, что 3 шкалы PI (навязчивые мысли / застревание, озабоченность по поводу совершения ошибок и потребность в одобрении) тесно взаимосвязаны со страхом отрицательной оцени, а также с частотой и интенсивностью проявления симптомов обсессивно-комульсивного расстройства личности.

Таблица 9.1. (см. отдельный файл)

Данный подход к оценке валидности весьма широко распространен. Сначала исследователь набирает большое количество данных с использованием оцениваемого теста и других тестов, гипотетически связанных с ним. Затем анализируется паттерн корреляций и выносится суждение относительно того, насколько этот паттерн соответствует концептуальному значению конструкта, заложенного в тест.

Матрицы множественных методов и признаков

В истории психологического измерения одной из наиболее влиятельных работ являлась статья Campbell и Fiske, опубликованная в 1959 году. В данной статье Campbell и Fiske развивают понятие конструктной валидности, описанное Cronbach и Meehl в 1955 году. Как уже говорилось, Cronbach и Meehl концептуализировали конструктную валидность на основе понятия номологической сети. Хотя их статья и явилась большим шагом вперед в разработке теории конструктной валидности, Cronbach и Meehl не предоставили никакого строгого статистического метода оценки конструктной валидности. В качестве статистического и методологического дополнения и расширения концептуальной работы, проделанной Cronbach и Meehl, Campbell и Fiske разработали и описали т.н. матрицы множественных методов и признаков (МММП).

В матрицах множественных методов и признаков при оценке конструктной валидности используются показатели по нескольким психологическим признакам, каждый из которых измерен несколькими методами. Например, исследователи, изучающие новый самооценочный опросник социальной компетентности, могут попросить респондентов наряду с самим этим опросником заполнить самооценочные тесты, измеряющие другие психологические признаки, такие как импульсивность, добросовестность и эмоциональная устойчивость. Кроме того, они могут попросить близких знакомых каждого из респондентов, чтобы те заполнили все перечисленные тесты про своих друзей, т.е. продублировать самооценочные данные данными экспертной оценки со стороны близких людей. И наконец, они могут нанять группу студентов-психологов, чтобы те провели интервью и оценили каждого из респондентов все по тем же показателям социальной компетентности, импульсивности, добросовестности и эмоциональной устойчивости. Таким образом, для каждого из респондентов исследователи получили бы данные относительно нескольких психологических признаков (социальная компетентность, импульсивность, добросовестность и эмоциональная устойчивость), каждый из которых измерен одновременно несколькими методами (самооценочным, экспертной оценкой близкого человека, экспертной оценкой проводящего интервью психолога).

Конечная цель анализа матриц множественных методов и признаков – обеспечить четкое руководство и схему оценки показателей конвергентной и дивергентной валидности. Данная цель частично достигается за счет изучения двух качественно различных источников вариативности, которые могут оказывать влияние на корреляцию между двумя показателями (тестами) – вариативность психологических признаков и вариативность измерительных методов. Для лучшего понимания данных источников вариативности представим себе, что исследователь, изучающий новый самооценочный опросник социальной компетентности, обнаруживает, что баллы по этому опроснику имеют сильную корреляцию с баллами по самооценочному опроснику эмоциональной устойчивости. О чем говорит это открытие?

Грубо говоря, это открытие свидетельствует о том, что респонденты, заявляющие, что они социально компетентны, заявляют также, что они эмоционально устойчивы. Однако отражает ли данный факт сугубо психологическое явление (т.е. взаимосвязь двух конструктов) или же он отражает в большей степени методологическое явление, независимое от самих психологических конструктов? В первом случае речь идет о том, что два психологических признака – социальная компетентность и эмоциональная устойчивость – имеют что-то общее, а определенная часть вариативности признака в двух использованных тестах пересекается. Например, социально компетентные люди могут иметь тенденцию к развитию большей эмоциональной устойчивости (возможно, потому, что их социальная компетентность позволяет им вступать в эмоционально благополучные взаимоотношения). Либо же эмоционально устойчивые люди могут иметь тенденцию к развитию все большей социальной компетентности (вероятно, их эмоциональная устойчивость позволяет им чувствовать себя более комфортно и вести себя более эффективно в ситуациях общения). Возможен еще один вариант, при котором и социальная компетентность, и эмоциональная устойчивость зависят от некоторой третьей переменной (возможно, существуют определенные генетические предпосылки, оказывающие влияние и на социальную компетентность, и на эмоциональную устойчивость). Каждое из этих объяснений подразумевает, что два измеряемых признака (социальная компетентность и эмоциональная устойчивость) действительно взаимосвязаны и имеют что-то общее. Предполагается, что тесты, направленные на измерение данных психологических признаков, коррелируют между собой именно потому, что взаимосвязаны сами признаки.

Несмотря на то, что при рассмотрении корреляции между тестовыми баллами по социальной компетентности и эмоциональной устойчивости в первую очередь напрашивается именно психологическая интерпретация, данная взаимосвязь может иметь и непсихологическую основу. Вспомните, что рассматриваемый пример был основан на применении двух самооценочных опросников. Таким образом, корреляция может быть основана сугубо на общей вариативности метода. Другими словами, корреляция может быть положительной потому, что она получена при использовании одного и того же источника – самоотчетных данных самого респондента. Когда два психологических измерения получены из одного и того же источника, они могут быть взаимосвязаны «сверх» взаимосвязи самих психологических конструктов, лежащих в их основе.

Например, люди могут иметь тенденцию оценивать себя в весьма обобщенных терминах – либо как в целом «хороших», либо как в целом «плохих». Таким образом, положительная корреляция между самооценкой социальной компетентности и самооценкой эмоциональной устойчивости может быть обусловлена тем фактом, что респонденты, которые указывают для себя высокий уровень социальной компетентности, просто-напросто склонны оценивать себя в целом «хорошо», а следовательно, они укажут достаточно высокий уровень и по показателю эмоциональной устойчивости. Сходным образом, респондент, оценивающий себя в целом как «плохого» человека, будет склонен давать довольно низкую самооценку как по социальной компетентности, так и по эмоциональной устойчивости. В данном случае очевидная корреляция между показателями социальной компетентности и эмоциональной устойчивости не отражает реальной взаимосвязи между психологическими конструктами. Данная корреляция является лишь следствием систематических искажений, вносимых в процесс измерения самим методом самоотчета. Таким образом, корреляция является «артефактом» того, что два показателя получены одним и тем же методом (самоотчетом). Говоря психометрическим языком, тестовые баллы имеют общую вариативность (дисперсию) метода.

Если принимать во внимание потенциальные влияния вариативности метода и вариативности признака, корреляция между двумя тестами выглядит весьма неоднозначно. С одной стороны, сильная положительная или отрицательная корреляция может означать, что тесты обладают общей дисперсией признака, т.е. конструкты, на измерение которых они направлены, взаимосвязаны. С другой стороны, сильная положительная или отрицательная корреляция может означать, что тесты обладают общей дисперсией метода, т.е. они коррелируют прежде всего потому, что используют один и тот же измерительный принцип.

Такого рода неоднозначность усложняет и интерпретацию слабой корреляции между двумя тестами. Относительно слабая корреляция может означать, что использованные тесты не имеют общей дисперсии признака, т.е. конструкты, на измерение которых они направлены, не связаны друг с другом. С другой стороны, это может означать и то, что тесты не имеют общей дисперсии метода (т.е. они пользуются различным принципом измерения). В таком случае истинная корреляция между психологическими признаками маскируется. Другими словами, возможно, что в действительности два психологических признака связаны между собой, однако поскольку один из них измерен с помощью одного метода (например, самоотчета), а другой – с помощью другого метода (например, экспертная оценка близкого человека), итоговый коэффициент корреляции невысок.

Данная неоднозначность интерпретации может помешать при оценке конструктной валидности теста. Возможность того, что часть дисперсии связана с психологическими признаками, а часть – с использованными методами, затрудняет интерпретацию набора корреляционных взаимосвязей в терминах ковергентной и дивергентной валидности. Каждый из коэффициентов корреляции, вероятно, отражает тесный сплав дисперсии признака и дисперсии метода. Поскольку исследователь, оценивающий конструктную валидность теста, не знает заранее истинный «вес» дисперсии признака и дисперсии метода, необходим тщательный анализ полученного набора корреляционных взаимосвязей. Такой тщательный анализ может привести к полезным выводам относительно дисперсии метода, дисперсии признака и, наконец, конструктной валидности исследуемого теста. Анализ матриц множественных методов и признаков (МММП) был разработан именно для этих целей.

Как было показано Campbell и Fiske (1959), анализ матриц множественных методов и признаков (МММП) следует проводить путем рассмотрения различных типов корреляций, отражающих различные по характеру сплавы дисперсии признаков и дисперсии методов. В приведенном выше примере для валидизации нового опросника социальной компетентности исследователь собрал данные по четырем психологических признакам, каждый из которых был измерен тремя различными способами. Остановимся подробнее на двух коэффициентах корреляции: а) между самооценочным опросником социальной компетентности и экспертным опросником социальной компетентности для близких друзей или знакомых, б) между самооценочным опросником социальной компетентности и самооценочным опросником эмоциональной устойчивости. Если новый самооценочный опросник действительно можно рассматривать как валидный инструмент диагностики социальной компетентности, то какой из двух коэффициентов корреляции должен быть выше?

Основываясь сугубо на смысле измеряемых конструктов, исследователь может предположить, что первый коэффициент корреляции будет выше второго. Предположение о том, что первый коэффициент корреляции должен быть высок, основано на том, что этот коэффициент получен при сопоставлении двух измерений одного и того же конструкта. С другой стороны, исследователь может ожидать, что второй коэффициент корреляции будет низок, т.к. социальная компетентность и эмоциональная устойчивость все-таки являются различными психологическими конструктами. Тем не менее, в такого рода прогнозах игнорируется потенциальное влияние на коэффициент корреляции со стороны общей дисперсии метода.

Принимая во внимание дисперсию метода, исследователь может пересмотреть свои предположения. Заметьте, что первый коэффициент корреляции получен с использованием двух разных методов измерения, тогда как второй основан на одном методе (два самооценочных теста). Таким образом, исходя из соображений общей дисперсии метода, исследователь может предположить, что вторая корреляция будет выше первой.

Как показывает этот пример, в матрицах множественных методов и признаков (МММП) существует возможность выделить различные типы корреляций, при этом каждый из типов отражает определенный сплав дисперсии признака и дисперсии метода. Campbell и Fiske (1959) называют четыре типа корреляций, которые могут быть получены в анализе МММП (см. Таблицу 9.2).

Таблица 9.2. Основы МММП: типы корреляций, дисперсия признака и дисперсия метода

Взаимосвязь между двумя конструктами		Метод, используемый для измерения двух конструктов
		Разные методы (например, самоотчет для одного из конструктов и экспертная оценка близкого знакомого – для другого)	Один метод (например, самоотчетный опросник для обоих конструктов)
Разные конструкты (не связаны)	Название	Гетеропризнаковые – гетерометодные корреляции	Гетеропризнаковые – монометодные корреляции
	Источники дисперсии	Различная дисперсия признака и различная дисперсия метода	Различная дисперсия признака и общая дисперсия метода
	Пример	Корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю эмоциональной устойчивости	Корреляция самооценочного опросника социальной компетентности и самооценочного опросника эмоциональной устойчивости
	Ожидаемая корреляция	Наиболее слабая	Умеренная ?
Одинаковые или похожие конструкты (связаны)	Название	Монопризнаковые – гетерометодные корреляции	Монопризнаковые – монометодные корреляции
	Источники дисперсии	Общая дисперсия признака и различная дисперсия метода	Общая дисперсия признака и общая дисперсия метода
	Пример	Корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю социальной компетентности	Корреляция самооценочного опросника социальной компетентности и самооценочного опросника социальной компетентности (например, при проверке надежности)
	Ожидаемая корреляция	Умеренная ?	Наиболее сильная

• Гетеропризнаковые – гетерометодные корреляции основаны на различных психологических конструктах, измеренных различными методами (например, корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю эмоциональной устойчивости).

• Гетеропризнаковые – монометодные корреляции основаны на различных психологических конструктах, измеренных одним и тем же методом (например, корреляция самооценочного опросника социальной компетентности и самооценочного опросника эмоциональной устойчивости).

• Монопризнаковые – гетерометодные корреляции основаны на сходных конструктах, измеренных разными методами (например, корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю социальной компетентности).

• Монопризнаковые – монометодные корреляции основаны на сходных конструктах, измеренных сходными методами (например, корреляция самооценочного опросника социальной компетентности с самим собой). Такого рода корреляции используются для вычисления психометрической надежности.

Campbell и Fiske (1959) сформулировали определения данных четырех типов корреляций и связали их с понятием конструктной валидности. Полная матрица множественных методов и признаков, содержащая гипотетические коэффициенты корреляции для рассматриваемого примера, приведена в Таблице 9.3. Матрица включает в себя 66 корреляций между четырьмя психологическими признаками, измеренными тремя различными способами, а также 12 коэффициентов надежности вдоль основной диагонали. Каждое из этих 78 значений может быть охарактеризовано в терминах одного из четырех типов корреляций, рассмотренных выше. Оценка конструктной валидности, дисперсии признаков и дисперсии методов проводится в процессе рассмотрения различных типов корреляции, содержащихся в МММП.

Свидетельства конвергентной валидности представлены монопризнаковыми – гетерометодными корреляциями, которые в рассматриваемой матрице обозначены жирным шрифтом. Данные значения представляют собой корреляции между сходными (либо совпадающими) признаками, измеренными различными способами. Например, корреляция между самооценкой социальной компетентности и экспертной оценкой социальной компетентности от близкого знакомого составляет 0.40. Корреляция между самооценкой социальной компетентности и экспертной оценкой социальной компетентности, предоставляемой психологом после интервью, составляет 0.34. Данные коэффициенты корреляции показывают, что респонденты, оценивающие себя как социально компетентных, обычно получают высокую оценку по социальной компетентности как от своих близких знакомых, так и от проводящих с ними интервью психологов. Достаточно высокие монопризнаковые – гетерометодные корреляции предоставляют свидетельства в пользу ковергентной валидности нового опросника социальной компетентности. Тем не менее, при их интерпретации следует принимать во внимание другие корреляции, представленные в МММП.

Для того чтобы свидетельства конвергентной и дивергентной валидности могли считаться надежными, самооценочный опросник социальной компетентности должен коррелировать с другими шкалами социальной компетентности сильнее, нежели с любыми другими показателями. Как показывает МММП, приведенная в Таблице 9.2, монопризнаковые – гетерометодные корреляции (как и ожидалось) в целом сильнее гетеропризнаковых – гетерометодных корреляций, отражающих взаимосвязи между разными конструктами, измеренными разными методами (в таблице показаны внутри треугольников из пунктирных линий). Например, корреляция между самооценкой социальной компетентности и экспертной оценкой эмоциональной устойчивости, полученной от близкого знакомого, составляет всего 0.20, а корреляция между самооценкой социальной компетентности и экспертной оценкой добросовестности, полученной от психолога-интервьюера, составляет лишь 0.09. Данные коэффициенты, так же как и большинство других гетеропризнаковых – гетерометодных корреляций, заметно ниже, чем монопризнаковые – гетерометодные корреляции, которые рассматривались в предыдущем абзаце. Таким образом, корреляции между показателями, которые имеют общую дисперсию признака, но не имеют общей дисперсии метода (монопризнаковые – гетерометодные) должны превышать корреляции между показателями, которые не имеют общей дисперсии ни признака, ни метода (гетеропризнаковые – гетерометодные).

Таблица 9.3 (см.отдельный файл)

Еще более строгое требование к вычислению конвергентной и дивергентной валидности заключается в том, что самооценочный опросник социальной компетентности должен коррелировать с другими тестами социальной компетентности с более высокими коэффициентами, нежели с самооценочными опросниками, направленными на измерение других психологических признаков. Как показано в матрице множественных признаков и методов, приведенной в Таблице 9.3, монопризнаковые – гетерометодные корреляции, как и ожидалось, в целом выше, чем гетеропризнаковые – монометодные корреляции, которые отражают взаимосвязи между различными признаками, измеренными одним и тем же методом (в таблице представлены внутри треугольников, образованных сплошными линиями). Относительно данных взаимосвязей результаты корреляционного анализа, приведенные в таблице, противоречивы. С одной стороны, корреляции между самооценочным опросником социальной компетентности и самооценочными опросниками импульсивности и добросовестности относительно невысоки (0.14 и 0.20 соответственно), с другой стороны – корреляция между самооценочным опросником социальной компетентности и самооценочным опросником эмоциональной стабильности также достаточно высока (0.35). Таким образом, самооценочный тест социальной компетентности связан с самооценочным тестом эмоциональной устойчивости в той же мере, что и с другими методами измерения социальной компетентности. Данный факт может являться поводом для беспокойства относительно дивергентной валидности самооценочного опросника, который, как предполагается, измеряет уровень социальной компетентности. Итак, корреляции между тестами, обладающими общей дисперсией признака, но не обладающими общей дисперсией метода (монопризнаковые – гетерометодные) должны превышать корреляции между тестами, обладающими общей дисперсией метода, но не обладающими общей дисперсией признака (гетеропризнаковые – монометодные). В идеале исследователю следовало бы получить даже более высокие монопризнаковые – гетерометодные и более низкие гетеропризнаковые – монометодные корреляции нежели те, которые представлены в Таблице 9.3.

В целом анализ МММП, разработанный Campbell и Fiske (1959), может обеспечить исследователя весьма полезными инструментами оценки конструктной валидности. Логику применения анализа МММП для оценки конвергентной и дивергентной валидности составляет внимательное и последовательное рассмотрение эффектов вариативности метода и вариативности признака на коэффициенты корреляции между различными тестами, использованными при валидизации. В десятилетиях, последовавших за публикацией этой весьма влиятельной работы Campbell и Fiske, исследователями, работающими в сфере психологического измерения, были разработаны еще более утонченные методы статистического анализа МММП. К примеру, Widaman (1985) разработал стратегию, предполагающую применение к матрицам МММП средств факторного анализа. Хотя подобные процедуры и выходят за пределы рассмотрения, представленного в этой книге, читателю необходимо знать, что современная психометрика продолжает развивать и совершенстовать идеи Campbell и Fiske.

Несмотря на хорошую логическую основу метода анализа МММП и всеобщее признание необходимости его применения, на практике этот подход к оценке конвергентной и дивергентной валидности теста применяется не слишком часто. К примеру, нами был проведен небольшой обзор статей, опубликованных в журнале «Психологическая оценка» (научный журнал, издаваемый Американской психологической ассоциацией) в номерах за 2005 год. Целью данного журнала является публикация данных «эмпирических исследований измерения и оценки, относящихся к широкой области проблем клинической психологии» (APA, без даты). В данном обзоре было выделено 13 статей, в которых предоставлялись данные о конвергентной и дивергентной валидности, либо же в целом о конструктной валидности теста. Из этих 13 статей лишь в двух использовался анализ МММП. Кроме того, в данных двух статьях в качестве множественных «методов» измерения использовались множественные серии проведения тестирования. Другими словами, респонденты заполняли один и тот же тест несколько раз, и разница во времени тестирования выступала как разница в «методе». Хотя и приходится признать, что такого рода литературный обзор ограничен и нестрог, он наглядно показывает, насколько (не)часто в психометрике применяется анализ МММП.

Однако даже несмотря на частоту его применения, анализ МММП явился важным шагом вперед в теории и методах оценки конвергентной и дивергентной валидности тестов. Данный подход во многом сформировал само понимание конструктной валидности, и без его рассмотрения невозможно полное понимание психометрики.

Квантификация конструктной валидности

Последний метод оценки конвергентной и дивергентной валидности, который будет рассмотрен в данной главе, является более современным. Westen и Rosenthal (2003) разработали процедуру, которая получила название «квантификации конструктной валидности» (QCV). В этой процедуре исследователь количественно измеряет степень соответствия между а) теоретическими предсказаниями относительно набора корреляций, выражающих конвергентные и дивергентные взаимосвязи и б) эмпирически полученным набором корреляционных взаимосвязей.

В какой-то степени такой подход может показаться читателю если и не избыточным, то далеко не новым. В самом деле, до сих пор в представленных в данной книге рассуждениях красной нитью проходила мысль о том, что теоретическое понимание измеряемого конструкта определяет особенности как самого исследования валидности, так и интерпретации его результатов. Например, в предыдущих разделах было показано, что существует несколько методов определения критериальных переменных, используемых в исследованиях конвергентной и дивергентной валидности, особо подчеркивалась необходимость интерпретации корреляций теста с этими переменными именно в терминах концептуального соответствия (или несоответствия) исследуемому конструкту.

Тем не менее, доказательства конвергентной и дивергентной валидности зачастую остаются основанными на достаточно субъективных интерпретациях коэффициентов корреляции, полученных при валидизации теста. Несколько ранее при обсуждении того, как могут применяться для оценки ковергентной и дивергентой валидности «наборы корреляций», говорилось о том, что исследователь «просматривает» полученные корреляции и выносит несколько субъективное суждение относительно того, насколько полученная картина взаимосвязей соответствует теоретически ожидаемой в соответствии с номологической сетью, окружающей изучаемый конструкт. Говорилось также и о том, что исследователь оценивает, насколько паттерн корреляций, полученных при изучении дивергентной и конвергентной валидности теста, «имеет смысл» с точки зрения теоретического понимания конструкта. Но что если суждение одного исследователя не совпадает с суждением другого исследователя? И насколько сильно (в количественном плане) полученная при валидизации картина взаимосвязей соответствует теоретически ожидаемой?

Сходным образом, при описании и анализе матриц МММП говорилось, что одни корреляции «в целом превышали» другие или «в целом были заметно ниже» других. Следует признать, что до сих пор мы пытались обойтись без четкого определения того, что значит «в целом превышали», и не давали ответа на вопрос о том, насколько конкретно должны различаться два коэффициента корреляции, чтобы говорить, что один из них «заметно ниже» другого. В итоге, хотя сами коэффициенты корреляции и являются точной мерой взаимосвязи переменных, интерпретация общей картины этих взаимосвязей зачастую проводилась в субъективной и неточной манере.

Процедура QCV была разработана для получения точного и объективного количественного показателя, выражающего общую степень соответствия полученной картины взаимосвязей теоретически ожидаемой. Таким образом, важным отличием этого метода от всех предыдущих является акцент на точности и объективности. Процедура QCV нацелена на то, чтобы дать исследователю ответ на единственный вопрос: «соответствует ли этот тест ряду других тестов так, как это предполагается теоретически?» (Westen & Rosenthal, 2003, с.609).

Анализ QCV приводит к получению двух взаимодополняющих результатов. Во-первых, исследователь получает две величины эффекта, отражающие степень соответствия между эмпирическим и теоретически предсказанным паттернами корреляций. Обе эти величины эффекта, получившие обозначения r_alerting-CV и r_contrast-CV, сами являются коэффициентами корреляции, значение которых варьируется от – 1 до + 1. Более подробно смысл этих величин будет раскрыт ниже, однако для обеих из них высокие положительные значения говорят о том, что эмпирический паттерн распределения конвергентных и дивергентных корреляций тесным образом соответствует паттерну, предсказанному на основе концептуального значения измеряемого конструкта. Второй результат, получаемый в анализе QCV, - это тест статистической значимости. Тест статистической значимости показывает, насколько вероятно, что обнаруженная степень соответствия между эмпирически полученными и теоретически предсказанными корреляциями была получена случайно. Исследователь, проводящий валидизацию теста с применением процедуры QCV, надеется получить высокие значения обеих величин эффекта, а также свидетельства того, что этот результат является статистически достоверным.

Процедура QCV может быть описана как состоящая из трех этапов. На первом этапе исследователю необходимо сформулировать четкие предположения относительно того, какой именно паттерн взаимосвязей он ожидает обнаружить по результатам проверки конвергентной и дивергентной валидности теста. Необходимо внимательно проанализировать те критериальные переменные, которые были использованы в исследовании, и предсказать для каждой из них величину предполагаемой корреляции с валидизируемым тестом. Так, например, Furr с коллегами (Furr, Reimer, & Bellis, 2004; Nave & Furr, 2006) разработали тест социальной мотивации, где социальная мотивация была определена как общее желание респондента производить положительное впечатление на других людей. Для оценки конвергентной и дивергентной валидности этого теста респонденты, наряду с самой шкалой социальной мотивации, заполняли еще 12 личностных опросников. Для того, чтобы использовать процедуру QCV, авторам необходимо было сформулировать предположения о том, какие именно корреляции будут получены между шкалой социальной мотивации и 12 дополнительными личностными тестами. Это было сделано с помощью пяти профессоров психологии, выступающих в роли экспертов. Каждый из экспертов читал описание каждой из шкал и выдвигал свои предположения относительно паттерна корреляций, который будет получен по итогам исследования. Далее прогнозы пяти экспертов были усреднены, что привело к формированию единой матрицы теоретически ожидаемых взаимосвязей.

Названия критериальных шкал и теоретически предсказанные коэффициенты корреляции приведены в Таблице 9.4. Таким образом, теоретически обоснованные предположения о показателях конвергентной и дивергентной валидности выражены в четкой и конкретной форме. К примеру, экспертами было предсказано, что социальная мотивация будет относительно сильно взаимосвязана с социальным самосознанием (public self-consciousness) (например, «Я беспокоюсь о том, что люди думают обо мне» и «В глазах других людей я хочу казаться кем-то значительным»), а также с потребностью в принадлежности (например, «Мне необходимо знать, что есть люди, к котором я могу обратиться в случае необходимости» и «Я хочу, чтобы окружающие люди принимали меня»). Эксперты ожидают, что респонденты, обладающие желанием произвести положительное впечатление на других, будут отмечать у себя склонность переживать по поводу того, что думают окружающие, и хотеть быть принятыми среди людей. С другой стороны, эксперты заключили, что социальная мотивация не будет связана с такими показателями, как недоверие и противоречивость характера, что отражает предполагаемую дивергентную валидность теста.

Таблица 9.4. Пример процесса квантификации конструктной валидности

Критериальные шкалы	Предсказанные корреляции	«Реальные» корреляции	z-преобразованные корреляции
Зависимость	0.58	0.46	0.50
Маккиавелизм	0.24	0.13	0.13
Недоверие	-0.04	-0.24	-0.24
Самодостаточность	0.06	-0.03	-0.03
Самоэффективность	-0.04	0.12	0.12
Экстраверсия	0.18	0.03	0.03
Податливость	0.36	0.39	0.41
Противоречивость характера	0.08	0.06	0.06
Социальное самосознание	0.64	0.51	0.56
Самоконтроль	0.56	0.08	0.08
Тревожность	0.36	0.24	0.24
Потребность в принадлежности	0.56	0.66	0.79

На втором этапе анализа QCV исследователь набирает эмпирические данные и вычисляет реальные показатели (корреляции) дивергентной и конвергентной валидности. Разумеется, данные корреляции отражают то, насколько исследуемый тест взаимосвязан с критериальными переменными в действительности. Так, Furr с коллегами (2004) вычисляли коэффициенты корреляции между шкалой социальной мотивации и 12 критериальными переменными, включенными в исследование. Как показано в Таблице 9.4, данные корреляции варьировались от -0.24 до 0.51. Респонденты, набравшие высокие баллы по шкале социальной мотивации, были склонны отмечать в себе относительно высокие уровни социального самосознания и потребности в принадлежности. Кроме того, они были склонны отмечать в себе относительно низкие уровни недоверия к окружающим. Однако взаимосвязей с противоречивостью характера и экстраверсией не обнаружилось.

На третьем этапе исследователь количественно оценивает степень того, насколько эмпирическая картина корреляционных взаимосвязей соответствует теоретически предсказанной. Высокая степень соответствия является свидетельством валидности предполагаемой интерпретации разработанного теста, в то время как низкая степень соответствия указывает на недостаточную валидность. Как уже говорилось, степень соответствия количественно выражается в двух видах показателей – величинах эффекта и тесте статистической достоверности.

Две величины эффекта дают обобщенную количественную оценку всех показателей конвергентной и дивергентной валидности. Величина эффекта r_alerting-CV – это коэффициент корреляции между набором теоретически ожидаемых корреляций и набором эмпирически полученных корреляций. Высокое положительное значение r_alerting-CV означает, что коэффициенты корреляции, которые эксперты оценили как высокие, на самом деле оказались высокими, а коэффициенты корреляции, которые эксперты оценили как низкие, на самом деле оказались низкими. Рассмотрим корреляции, приведенные в Таблице 9.4. Заметьте, например, что эксперты предположили, что наиболее высокими корреляциями со шкалой социальной мотивации будут обладать показатели зависимости, социального самосознания, самоконтроля и потребности в принадлежности. По результатам эмпирического исследования выяснилось, что три из этих четырех показателей действительно коррелируют с социальной мотивацией сильнее всего. С другой стороны, эксперты предположили, что наименьшими корреляциями с социальной мотивацией будут обладать показатели недоверия, самодостаточности, самоэффективности и противоречивости характера. По результатам исследования оказалось, что три из этих четырех корреляций действительно наименьшие по сравнению со всеми остальными. Таким образом, эмпирические взаимосвязи в целом соответствовали теоретически предсказанным. Отсюда достаточно высокое положительное значение коэффициента r_alerting-CV – для данных, представленных в Таблице 9.4, он составляет 0.79. Значение r_alerting-CV вычисляется как корреляция между теоретически ожидаемым набором корреляций и набором z-преобразованных эмпирических корреляций. Z-преобразование выполняется по техническим соображениям, связанным с распределением корреляционных коэффициентов. Для практических целей, впрочем, достаточно понимать, что величина эффекта r_alerting-CV означает степень того, насколько коэффициенты корреляции, которые по экспертной оценке должны являться высокими (низкими), действительно таковыми являются.

Хотя вычисление величины эффекта r_contrast-CV несколько более трудоемко, эта величина похожа на r_alerting-CV в том, что большие положительные значения повышают уверенность исследователя в конвергентной и дивергентной валидности теста. Говоря конкретнее, при вычислении r_contrast-CV делается поправка на интеркорреляции между критериальными переменными и на абсолютную величину корреляций между критериальными переменными и исследуемым тестом. Для данных, полученных в исследовании Furr и др. (2004) значение r_contrast-CV составляет приблизительно 0.68, что опять же означает высокий уровень конвергентной и дивергентной валидности. Поскольку процедура QCV была разработана относительно недавно, до сих пор не существует четких критериев того, какие именно значения рассмотренных величин эффекта могут интерпретироваться как свидетельство удовлетворительной валидности. На данном этапе можно просто утверждать, что чем выше значение этих величин, тем выше валидность исследуемого теста.

Помимо данных величин эффекта, анализ QCV приводит к вычислению показателей статистической достоверности. Будучи основанной на ряде таких факторов, как величина выборки и степень подтверждаемости конвергентной и дивергентной валидности, z-оценка уровня статистической значимости показывает, насколько вероятным было случайное обнаружение полученного результата.

Хотя анализ QCV потенциально весьма полезен для оценки конвергентной и дивергентной валидности, он тоже не совершенен. Так, низкая величина эффекта (т.е. низкие значения коэффициентов r_alerting-CV и r_contrast-CV) может и не означать низкой валидности теста. Низкие значения этих коэффициентов могут являться результатом неприемлемого набора теоретически предсказанных корреляций. Если теоретически предсказанные корреляции плохо отражают номологическую сеть, окружающую конструкт, хороший тест, направленный на измерение этого конструкта, приведет к получению такого набора корреляций, который не соответствует теоретическому. Сходным образом, на величинах эффекта может отразиться неправильный выбор критериальных переменных. Если критериальные переменные, использованные в исследовании валидности, не связаны с валидизируемым тестом, такие переменные не являются адекватным отображением номологической сети. Таким образом, для получения четко выраженных данных о конвергентной и дивергентной валидности критериальные переменные, выбранные для анализа QCV, должны отображать широкий спектр сильных и слабых корреляционных взаимосвязей. В самом деле, Westen и Rosenthal (2005) указывают, что «один из наиболее важных недостатков всех индексов пригодности заключается в том, что они не учитывают, был ли выбор пунктов, показателей, наблюдателей и т.д. адекватен поставленным задачам» (с.410).

Кроме того, анализ QCV критиковали за то, что в результате он дает «высокие коэффициенты корреляции в тех случаях, когда теоретические предсказания и эмпирические наблюдения мало согласованы» (G.T.Smith, 2005, с.404). Исследователь может получить достаточно большие значения коэффициентов r_alerting-CV и r_contrast-CV даже тогда, когда наблюдаемый паттерн корреляций, свидетельствующих о конвергентной и дивергентной валидности, недостаточно тесно соответствует реальному. Westen и Rosenthal (2005) признают, что в некоторых случаях такое явление может иметь место. Впрочем, они поясняют, что анализ QCV должен рассматриваться лишь как «пособие», а его результаты должны очень внимательно изучаться в контексте множества концептуальных, методологических и статистических факторов (с.411).

Итак, мы описали четыре стратегии, которые могут использоваться во множестве областей оценки тестов, однако единственного идеального метода или статистической процедуры для оценки ковергентной и дивергентной валидности интерпретации тестовых баллов не существует. Хотя и QCV не совершенен, он имеет несколько важных преимуществ перед всеми остальными стратегиями. Во-первых, он вынуждает исследователя внимательно рассматривать паттерны конвергентных и дивергентных корреляций в свете теоретического понимания измеряемого конструкта. Во-вторых, для его проведения необходимы явные и конкретные предсказания относительно взаимосвязей переменных. В-третьих, при анализе QCV внимание исследователя целиком сконцентрировано на валидизируемом тесте, и «ненужные» интеркорреляции между критериальными переменными не рассматриваются. В-четвертых, такого рода анализ приводит к получению небольшого набора показателей, которые дают общее выражение степени соответствия между эмпирически наблюдаемым паттерном корреляций и тем паттерном, который был предсказан экспертами на основе исходных теоретических соображений; кроме того, для этих показателей возможно вычисление уровня статистической достоверности. Если использовать QCV с определенной долей осторожности, он может послужить полезным дополнением к психометрическому инструментарию.

ФАКТОРЫ, ВЛИЯЮЩИЕ НА КОЭФФИЦИЕНТ ВАЛИДНОСТИ

Описанные выше стратегии используются для того, чтобы собирать и интерпретировать эмпирические свидетельства конвергентной и дивергентной валидности. В некоторой степени все перечисленные стратегии имеют в своей основе некую величину коэффициента валидности – статистический результат, выражающий степень взаимосвязи между валидизируемым тестом и одной или несколькими критериальными переменными. В данном разделе будут рассмотрены некоторые немаловажные факторы, оказывающие влияние на коэффициенты валидности, получаемые при психометрическом исследовании теста.

До сих пор рассмотрение корреляции как коэффициента валидности было обусловлено тем, что она легко интерпретируется как мера взаимосвязи. Для выражения взаимосвязи между тестом и критериальными переменными могут использоваться и другие статистические величины (например, регрессионные коэффициенты), однако большинство из них являются не более чем расширением коэффициента корреляции. Таким образом, приведенные ниже рассуждения будут сконцентрированы на некоторых ключевых психологических, методологических, психометрических и статистических факторах, которые оказывают влияние на корреляцию между тестом и критериальными переменными.

Взаимосвязь конструктов

Один из факторов, влияющих на коэффициент корреляции двух тестов, направленных на измерение двух психологических конструктов, - «истинная» взаимосвязь данных конструктов. Если два конструкта тесно взаимосвязаны друг с другом, то и тесты, направленные на их измерение, будут высоко коррелировать. И наоборот, если два конструкта не связаны друг с другом, то и коэффициент корреляции между соотвесттвующими тестами, вероятно, будет невысок. В самом деле, при проведении исследования ученый пытается интерпретировать эмпирически обнаруженный коэффициент корреляции между измеренными переменными как приближение истинной корреляции между изучаемыми конструктами. При валидизации теста исследователь предполагает, что две переменные будут коррелировать, именно потому, что два изучаемых конструкта взаимосвязаны друг с другом.

Ошибка измерения и надежность

В предыдущих главах описывались концептуальные основы, способы оценки и сферы применения надежности как показателя наличия (или отсутствия) ошибки измерения. Как уже говорилось, одним из важнейших следствий наличия ошибки измерения является ее эффект на коэффициент корреляции между двумя переменными – ошибка измерения снижает коэффициент корреляции. Следовательно, ошибка измерения влияет на коэффициенты валидности.

Как было показано в предыдущих главах, корреляция между тестами X1 и Y2, направленными на измерение двух психологических конструктов, является функцией истинной корреляции между конструктами и надежности данных двух тестов:

(9.1)

В этом уравнении – коэффициент корреляции между двумя тестами. В нашем случае этот коэффициент можно назвать коэффициентом валидности, выражающим взаимосвязь валидизируемого теста и одной из критериальных переменных. – это истинная корреляция между двумя конструктами, – надежность валидизируемого теста, а – надежность показателя критериальной переменной.

Например, исследуя конвергентную и дивергентную валидность теста социальной мотивации, Furr с коллегами (2004; Nave & Furr, 2006) были заинтересованы в получении коэффициента корреляции между показателями социальной мотивации и социального самосознания. Представим, что истинная корреляция данных двух конструктов составляет 0.60. Какой коэффициент валидности был бы получен в исследовании, если бы оба теста обладали низкой надежностью измерения? Если бы надежность теста социальной мотивации составляла 0.63, а надежность теста социального самосознания – 0.58, полученный коэффициент валидности составил бы лишь 0.36:

,

,

Вспомните, что для оценки конвергентной валидности исследователю необходимо сравнить эмпирически полученную корреляцию с той, которая ожидалась бы на сугубо теоретических основаниях. В данном случае, если бы Furr с коллегами (2004) ожидали получение коэффициента корреляции, близкого к 0.60, они были бы несколько разочарованы, обнаружив коэффициент «всего лишь» в 0.36. Следовательно, они могли бы заключить, что разработанный ими тест социальной мотивации обладает низкой валидностью.

Заметьте, что на коэффициент корреляции оказывают влияние два показателя надежности: а) надежность валидизируемого теста и б) надежность критериальной переменной. Таким образом, валидизируемый тест мог бы являться неплохим инструментом диагностики соответствующего психологического конструкта, однако даже в этом случае коэффициент валидности мог бы быть низким. Если бы надежность теста социальной мотивации составляла 0.84, а надежность теста социального самосознания – 0.40, эмпирически полученный коэффициент валидности составил бы всего лишь 0.35:

,

,

Следовательно, при оценке абсолютной величины коэффициента корреляции, выражающего конвергентную или дивергентную валидность, необходимо учитывать надежность обоих тестов. Вероятно, коэффициент валидности будет низким, если низка надежность одного или обоих тестов. Это соображение указывает на важность грамотного подбора критериальной переменной. Даже если валидизируемый тест адекватно отображает психологический конструкт, лежащий в его основе, полученные по результатам исследования коэффициенты валидности могут оказаться низкими. Другими словами, если критериальные переменные ненадежны, вряд ли исследователь обнаружит хорошие показатели валидности, даже если исследуемый тест на самом деле является валидным! Хотя это и важно, разработчики тестов зачастую забывают об этом.

Ограниченный размах

Вспомним, что коэффициент корреляции отражает совместную вариативность двух распределений тестовых баллов. Другими словами, он представляет собой степень соответствия между вариативностью в одном распределении баллов (например, распределении баллов валидизируемого теста) и вариативностью в другом распределении баллов (например, распределении баллов критериальной переменной). Величина вариативности в одном или обоих наборах данных оказывает влияние на коэффициент корреляции между ними. В частности, корреляция между двумя переменными может быть низкой, если размах баллов в одной или обоих переменных узок или искусственно ограничен.

Классический тому пример - взаимосвязь результатов теста академических способностей SAT с показателем академической успеваемости. Ранее мы обсуждали тот факт, что многие показатели валидности результатов теста SAT основаны на корреляции между результатами этого теста и академической успеваемостью, измеренной посредством среднего академического балла в колледже (GPA). Распространителям теста SAT хочется продемонстрировать, что люди, которые набирают относительно высокий балл по этому тесту, обычно достаточно хорошо учатся в колледже. При этом подразумевается также, что респонденты, которые набирают относительно низкий балл по SAT, обычно имеют относительно низкую успеваемость в колледже. Чтобы продемонстрировать данный вид связи, исследователям необходимо доказать, что вариативность в распределении баллов теста SAT соответствует вариативности в распределении среднего академического балла в колледже (GPA). Однако наличие ограниченности в размахе баллов нарушает эту взаимосвязь в двух аспектах.

Во-первых, показатель академической успеваемости GPA сам по себе ограничен. Во многих колледжах размах баллов GPA находится в пределах от 0.0 до 4.0. Самый низкий балл, который может набрать студент, равен 0.0, а самый высокий – 4.0. Но разве этот размах в 4 единицы действительно отражает полный спектр возможной академической успеваемости? Рассмотрим двух студентов, оба из которых хорошо учатся и получают оценку «четыре» по всем дисциплинам. Хотя Лео и учился хорошо, в каждом из предметов он с трудом «дотягивал» до четырех баллов. Таким образом, он едва дотянул до 4-х баллов, и эта четверка в некотором смысле представляет собой верхний предел его академической успеваемости. Мэри тоже учится хорошо и получает четверки по всем предметам. Но по каждой из дисциплин Мэри действительно превзошла остальных студентов. Она была единственной, кто по всем предметам выполнил все контрольные работы на четверки. Кроме того, она без труда овладела всем теоретическим материалом и справилась со всеми заданиями, за которые выставлялись оценки. Таким образом, Мэри также получила 4.0 балла, но эта оценка в некотором смысле занижает уровень ее академической успеваемости. Она усвоила весь материал настолько успешно, что ее преподаватели хотели бы поставить ей что-нибудь выше 4.0. Хотя Лео и Мэри набрали один и тот же балл, в действительности их успеваемость различна. Лео вполне заработал свои 4 балла и может этим гордиться, но преподаватели, возможно, согласились бы с тем, что Мэри его превзошла. Соответственно, четырехбалльная шкала академической успеваемости ограничивает возможный размах данных.

Обратите внимание на то, что средний балл успеваемости ограничен в обоих направлениях (и сверху, и снизу). Рассмотрим Дженни и Брюса. Хотя оба, и Дженни и Брюс, провалились на всех экзаменах, Брюсу до получения положительной отметки каждый раз не хватало совсем немного. С другой стороны, Дженни даже близко не была к тому, чтобы сдать хоть один предмет. Итак, и Брюс, и Дженни получили средний балл успеваемости, равный 0.0, но в некотором смысле у Брюса уровень академической успеваемости был выше, чем у Дженни. Исходя из оценок за контрольные работы, домашние задания и экзамены, Брюс превзошел Дженни (т.к. он получил 59 баллов за каждую работу, тогда как Дженни получила 30)⁶. Несмотря на различные уровни их успеваемости в течение семестра, шкала среднего балла академической успеваемости имеет нижний предел, равный 0.0, поэтому Дженни не может набрать меньше баллов, чем Брюс.

Диаграмма рассеивания на рисунке 9.1 демонстрирует гипотетические данные, полученные на выборке из 5000 студентов. Этот рисунок показывает «идеальную» взаимосвязь между результатами теста академических способностей и «неограниченным» показателем успеваемости в колледже. Другими словами, он представляет результаты студентов, уровень академической успеваемости которых не ограничен четырехбалльной шкалой. Обратите внимание, что некоторые баллы успеваемости опускаются ниже нулевой отметки на графике, что позволяет отразить различия между такими студентами, как Дженни и Брюс. Заметьте также, что некоторые баллы успеваемости находятся выше отметки 4.0, что отражает различия между такими студентами, как Лео и Мэри. Согласно показателям, изображенным на рисунке 9.1, корреляция между академическими способностями и средним баллом успеваемости составляет 0.61. Это указывает на то, что студенты, набравшие относительно низкий балл по тесту SAT, обычно получали относительно низкий балл по «неограниченному» показателю успеваемости.

В действительности, однако, размах баллов по успеваемости ограничен, поэтому студенты, академическая успеваемость которых могла бы быть оценена в 5.0 и 6.0 баллов, могут набрать только 4.0. Таким же образом, студенты, академическая успеваемость которых могла бы быть оценена ниже нуля, в действительности не могут получить оценку со знаком «минус». Итак, все те студенты, кто бы мог, теоретически, быть достоин среднего академического балла выше 4.0 (или ниже 0), на самом деле получат 4.0 (или 0).

Рисунок 9.1. Диаграмма рассеивания баллов по тесту академических способностей SAT и «неограниченных» баллов успеваемости в колледже GPA

Диаграмма рассеивания на рисунке 9.2 демонстрирует данные той же выборки из 5000 студентов, основанные на результатах «ограниченного» балла успеваемости GPA. Обратите внимание, что баллов, превышающих отметку 4.0, нет, т.к. эта отметка является высшим пределом. Обратите внимание также, что отметок со знаком «минус» на этом рисунке тоже нет, т.к. нулевой балл является низшим пределом. Данная диаграмма рассеивания является более сжатой, и связь между результатами теста академических способностей и средним академическим баллом не так очевидна, как в предыдущем случае. Для данных, изображенных на Рисунке 9.4, корреляция между результатами теста академических способностей и средним академическим баллом GPA несколько ниже: 0.60. Таким образом, ограничение размаха показателей успеваемости слегка снижает коэффициент корреляции.

Второй аспект, по которому ограниченный размах может повлиять на коэффициент взаимосвязи между результатами теста академических способностей и учебной успеваемостью, это количество человек, которые в принципе получают балл по успеваемости. Дело в том, что ученик с низким баллом по тесту SAT имеет куда меньше шансов вообще попасть в колледж, нежели ученик с высоким баллом по этому тесту. Изучая взаимосвязь между баллами по тесту SAT и академической успеваемостью, исследователь ограничивает себя подвыборкой респондентов, а не всей совокупностью учеников, проходивших SAT. Это происходит потому, что рассматриваются лишь те респонденты, которые заполняли SAT и которые впоследствии поступили в колледж. Не все ученики, проходящие тестирование по SAT, в дальнейшем учатся в колледже. В гипотетическом наборе данных, рассматривавшемся в данной главе, почти 400 «студентов» набрали по SAT баллы ниже 700. В действительности эти респонденты могут и не поступить в колледж; следовательно, возможно, что они никогда не получат среднего балла по академической успеваемости.

Рисунок 9.2. Диаграмма рассеивания баллов по тесту академических способностей SAT и ограниченных баллов успеваемости в колледже GPA

Диаграмма рассеивания на рисунке 9.3 демонстрирует данные об оставшихся 4600 студентах, чьи результаты по тесту академических способностей (SAT) превысили 700. Обратите внимание, что респонденты с результатами ниже 700 на этой диаграмме отсутствуют. Предполагается, что респондент с таким баллом скорее всего (если даже не наверняка) не будет допущен в колледж, а потому не сможет участвовать в исследовании взаимосвязи между академическими способностями и успешностью обучения. И снова данная диаграмма рассеивания является более сжатой, чем две предыдущие. Неудивительно, что корреляция между успеваемостью и академической успешностью для данных, изображенных на Рисунке 9.3, составляет 0.55.

В целом рассмотренный пример иллюстрирует то, как ограниченность размаха данных может оказывать влияние на коэффициент корреляции. При оценке конвергентной и дивергентной валидности теста в качестве показателя валидности используется именно корреляция, либо же другие статистические процедуры, являющиеся ее расширением. При оценке ковергентной валидности исследователь надеется на то, что коэффициенты корреляции окажутся высокими. Тем не менее, необходимо помнить, что ограниченный размах данных может снизить коэффициент корреляции, даже если в действительности соответствующие конструкты взаимосвязаны достаточно тесно. В примере, рассмотренном в данном разделе главы, ограничение размаха данных оказывало на корреляцию между академическими способностями (SAT) и средним баллом по успеваемости (GPA) двоякое влияние, и в обеих аспектах коэффициент корреляции был несколько ниже, чем в случае с «неограниченными» распределениями данных. Хотя в данном примере эффект ограниченности размаха данных не столь уж и значителен, понимание потенциальных угроз этого эффекта поможет исследователю более грамотно интерпретировать коэффициенты валидности.

Рисунок 9.3. Диаграмма рассеивания ограниченных баллов по тесту академических способностей SAT и ограниченных баллов успеваемости в колледже GPA

Процентное соотношение респондентов в дихотомических переменных

Представим, что был разработан самооценочный опросник, направленный на измерение депрессии. Представим также, что конвергентная валидность опросника оценивается путем сопоставления результатов с диагнозами, поставленными квалифицированными клиническими психологами. Набирается группа респондентов, которые заполняют опросник и проходят собеседование у клинического психолога. Психологи ставят диагноз каждому из участников, относя его либо к депрессивным, либо к здоровым. Таким образом, валидизируемый тест дает баллы в непрерывной числовой шкале (шкале интервалов или шкале отношений), а критериальная переменная (т.е. диагноз) – в качественной, дихотомической. О высокой валидности разработанного теста можно было бы говорить, если бы баллы по этому тесту сильно коррелировали с диагнозами клинических психологов.

На величину корреляционной взаимосвязи между результатами опросника и диагнозами клинических психологов оказывает влияние процентная доля респондентов, которым диагностировали депрессию. Рассмотрим эту зависимость. При вычислении данного коэффициента корреляции каждый из респондентов должен иметь баллы по двум переменным - результаты опросника на выявление депрессии и диагноз. В Таблице 9.5 для этого примера приведены гипотетические эмпирические данные. Очевидно, результаты опросника на выявление депрессии уже измеряются в количественной шкале (допустим размах данных от 0 до 30). Что касается категории диагноза, для вычисления коэффициента валидности эту переменную сперва необходимо выразить в количественной форме. Для этого всем респондентам, которые были диагностированы как здоровые, приписывается одно числовое значение, а всем респондентам, которые были диагностированы как депрессивные, приписывается другое числовое значение. Это могут быть значения 1 и 2, 1 и 10, -1000 и +1000, либо же любая другая пара чисел (важно только, чтобы всем респондентам из одной группы было приписано одно и то же число). В данном примере закодируем «недепрессивную» группу числом 1, а депрессивную – числом 2 (см. Таблицу 9.5).

Таблица 9.5. Данные, демонстрирующие влияние процентного соотношения респондентов в дихотомических переменных на коэффициенты валидности

Респондент	Балл по опроснику депрессии	Диагноз	Код диагноза
1	6	Здоров	1
2	5	Здоров	1
3	7	Здоров	1
4	1	Здоров	1
5	11	Здоров	1
6	9	Здоров	1
7	3	Здоров	1
8	6	Здоров	1
9	4	Здоров	1
10	8	Здоров	1
11	10	Здоров	1
12	2	Здоров	1
13	5	Здоров	1
14	7	Здоров	1
15	6	Здоров	1
16	10	Депрессия	2
17	15	Депрессия	2
18	5	Депрессия	2
19	8	Депрессия	2
20	12	Депрессия	2
Среднее	7.0		0.25
Стандартное отклонение	3.39		0.43
Ковариация		0.75
Корреляция		0.51

В одной из предыдущих глав говорилось, что корреляция между двумя переменными – это их ковариация, деленная на произведение двух стандартных отклонений. Корреляция между непрерывной переменной и дихотомической переменной (r_CD) составляет:

, (9.2)

где С_CD - ковариация между двумя переменными, s_C - стандартное отклонение непрерывной переменной, а s_D - стандартное отклонение дихотомической переменной.

В данной формуле два значения напрямую зависят от процентного соотношения количества наблюдений в двух группах, определяемых дихотомической переменной. Если группы закодированы числами 1 (группа 1) и 2 (группа 2), тогда ковариация равна

, (9.3)

где p₁ – процент испытуемых, попавших в группу 1, p₂ - процент испытуемых, попавших в группу 2, С₁ – среднее значение непрерывной переменной для испытуемых в группе 1, а С₂ – среднее значение непрерывной переменной для испытуемых в группе 2. Согласно рассматриваемому гипотетическому набору данных, 15 из 20 респондентов принадлежат к группе здоровых (группа 1), а 5 - к группе депрессивных (группа 2). Следовательно, соответствующие пропорции составляют 0.75 (15/20=0.75) и 0.25 (5/20=0.25). Кроме того, средний балл по результатам опросника на выявление депрессии в группе «здоровых» составил 6, а в группе «депрессивных» - 10. Таким образом, искомая ковариация равна

С_CD = (0.75) (0.25) (10 - 6),

С_CD = (0.1875) (4),

С_CD = 0.75.

Стандартное отклонение дихотомической переменной - второе значение, зависящее от соотношения респондентов в двух группах, определяемых дихотомической переменной. Если группы закодированы числами 1 (группа 1) и 2 (группа 2), тогда это значение равно

. (9.4)

По данным таблицы 9.5 стандартное отклонение дихотомической переменной (диагноз) равно

,

Принимая во внимание эти данные, можно переписать и упростить уравнение корреляции так, что влияние процентного соотношения респондентов в двух группах станет более очевидным:

, (9.5)

.

Например, для данных, указанных в таблице 9.5, коэффициент корреляции составляет

,

,

.

Данная корреляция положительна и довольно значительна по абсолютной величине. Она свидетельствует о том, что испытуемые, получившие относительно «высокий балл» по переменной «диагноз», набирают более высокие баллы и по итогам опросника депрессивности. Вспомним, что дихотомическая переменная «диагноз» была закодирована таким образом, что респондентам с диагнозом «депрессивный» приписывался более высокий балл (т.е. 2), чем респондентам с диагнозом «здоровый». Следовательно, полученный коэффициент корреляции можно интерпретировать таким образом, что респонденты с диагнозом «депрессивный» (т.е. имеющие относительно высокие баллы по дихотомической переменной) имеют тенденцию набирать более высокие баллы по итогам разработанного опросника депрессивности, чем респонденты из категории недепрессивных (т.е. имеющие относительно низкий результат по дихотомической переменной).

Уравнение 9.5 показывает, каким образом процентное соотношение количества респондентов в двух группах влияет на коэффициент корреляции, отражающий конвергентную или дивергентную валидность теста. При прочих равных условиях группы с одинаковым количеством человек приведут к получению более высоких коэффициентов корреляции, нежели неравные группы. В случае, если обе группы равны по количеству респондентов, их процентное соотношение составит 0.5 и 0.5. Произведение этих двух пропорций (0.5*0.5 = 0.25) является максимально возможным числом в этой формуле. Другими словами, произведение любой другой пары пропорций будет меньше 0.25, и чем больше рассогласование в количестве респондентов в двух группах, тем это произведение меньше (например: 0.40*0.60 = 0.24; 0.10*0.90 = 0.09). При прочих равных условиях более низкие произведения данных двух пропорций будут приводить к получению более низких коэффициентов корреляции.

Итак, еще одним фактором, который может оказывать влияние на некоторые коэффициенты валидности, является количественное соотношение респондентов в двух исследуемых группах. Если коэффициент валидности основан на корреляции между непрерывной переменной и дихотомической переменной, то любая диспропорция размеров групп может снизить итоговый показатель валидности. При интерпретации коэффициентов валидности исследователю следует помнить об этой закономерности.

Дисперсия метода

Дисперсия (вариативность) метода обсуждалась несколько ранее в разделе, посвященном матрицам множественных методов и признаков (МММП). К этому обсуждению мало что можно добавить, однако следует понимать, что вариативность метода имеет значение не только в рамках анализа МММП. Каждый раз, когда исследователь коррелирует баллы валидизируемого теста и баллы другого теста, использующего другой способ измерения, вариативность метода снижает коэффициент корреляции. Точнее говоря, корреляция между двумя разными методами измерения конструкта окажется меньше с большей вероятностью, чем корреляция между двумя тестами, использующими один и тот же метод измерения.

Данное соображение весьма важно для оценки коэффициентов валидности. Производя оценку коэффициентов валидности, исследователь придает большее значение корреляциям между разными методами оценки, нежели между сходными. Например, оценивая новый опросник социальной компетентности, исследователь мог бы скоррелировать его результаты с баллами по самооценочному опроснику экстраверсии. С радостью обнаружив, что коэффициент корреляции составляет 0.40, исследователь мог бы сделать вывод о том, что опросник обладает высокой конвергентной валидностью. В самом деле, данный результат показывает, что респонденты, обладающие (согласно результатам по новому опроснику) высокой социальной компетентностью, обладают, как правило, высокой степенью экстравертированности. Тем не менее, исследователь был бы еще более уверен в результатах валидизации, если бы он обнаружил корреляцию размером 0.40 между самооценочным опросником социальной компетентности и экспертным опросником экстраверсии, заполняемом близкими знакомыми респондента. Результат оказался бы более убедительным, если бы можно было сказать, что люди с высокими показателями социальной компетентности, как правило, описываются своими знакомыми как экстраверты.

Исследования валидности, основанные лишь на методиках самоотчета, информативны и весьма распространены, однако не совершенны. Получение данных самоотчета является относительно простым, недорогим и в целом весьма надежным методом, поэтому мы не считаем, что данные самоотчета хуже данных, полученных другими методами. Тем не менее, корреляции, основанные лишь на процедурах самоотчета, могут оказаться завышенными из-за общей дисперсии метода. С другой стороны, вероятность искусственного завышения корреляций, основанных на данных, полученных различными методами, меньше. Поэтому другие способы измерения психологического конструкта являются существенным дополнением к данным самоотчета. Интерпретируя корреляции, основанные на различных методах измерения, важно понимать, что они могут оказаться меньше, чем корреляции, основанные лишь на методе самоотчета. Это обусловлено меньшей степенью общности дисперсии метода.

Время

Как уже говорилось, конструктная валидность иногда оценивается путем исследования корреляции между каким-либо тестом, который предлагается в один момент времени (напр., тест академических способностей SAT), и критериальной переменной, значение которой определяется в более поздний момент времени (напр., подсчет среднего балла успеваемости студента, GPA). При прочих равных условиях коэффициенты валидности, основанные на корреляциях между переменными, значение которых измеряется в разные моменты времени (то есть корреляциях, отражающих прогностическую валидность теста) могут оказаться меньше, чем коэффициенты, основанные на корреляциях между переменными, значение которых измеряется в один момент времени (то есть корреляциях, отражающих текущую (конкуррентную) валидность). Более того, существует вероятность, что увеличение промежутка между двумя моментами времени в результате приведет к получению более низкого коэффициента прогностической валидности.

Прогнозирование единичных событий

Важным фактором, который может повлиять на коэффициенты валидности, является то, на чем основана критериальная переменная: либо на наблюдении какого-то единичного события, либо на комбинации наблюдений. Например, представим себе тест, гипотетически направленный на измерение экстраверсии. Представим также, что данные о конструктной валидности были получены путем коррелирования баллов по этому тесту с показателем «разговорчивости» в ситуациях социального взаимодействия. На теоретических основаниях можно предполагать, что экстраверты должны быть относительно разговорчивыми, поэтому исследователь надеется получить положительную корреляцию, умеренную или высокую.

Допустим, исследователь набрал выборку из 50 респондентов, которые заполняли тест, а затем на протяжении 5 минут общались с незнакомым человеком противоположного пола. После этого собеседник оценивал разговорчивость респондента по шкале от 1 до 10, где более высокие баллы означают большую степень разговорчивости. Исследователь вычислил корреляцию между результатами теста и экспертной оценкой разговорчивости и обнаружил положительное, но невысокое значение. Ученый разочарован и вынужден признать, что разработанный опросник не является валидной мерой экстраверсии.

Прежде чем применять решение о модификации теста или о полном отказе от него, следует рассмотреть сущность критериальной переменной. В данном случае следует помнить о том, что она была основана на наблюдении единичной черты поведения (т.е. разговорчивости) в единичной социальной ситуации (т.е. пятиминутное общение с незнакомым человеком противоположного пола). Даже если не учитывать дисперсию метода, существует множество факторов, которые могли бы повлиять на разговорчивость респондента в какой-то определенный момент. В каком он был настроении? Как вел себя его собеседник? Могла ли на разговорчивость респондента повлиять какая-либо особенность ситуации или темы разговора?

Коэффициент валидности мог бы быть выше, если бы исследователь оценил поведение респондентов в нескольких различных ситуациях общения или на протяжении более длительного периода времени. По ряду причин единичные события являются менее прогнозируемыми, чем любого рода комбинации событий (Epstein, 1979).

Особенно убедительный пример трудности прогнозирования единичных событий был предоставлен Abelson (1985). Некоторым бейсболистам платят десятки миллионов долларов - частично потому, что среднее количество отбитых мячей у них гораздо выше, чем у среднестатистического игрока. Предположительно, владельцы и менеджеры бейсбольных команд полагают, что игроки с высоким средним показателем отбитых мячей будут гораздо более успешны, чем игроки с низким средним показателем отбитых мячей. Другими словами, в каждом отдельном случае игрок с высоким показателем будет иметь гораздо больше шансов отбить мяч, чем игрок с низким показателем. Но действительно ли это так? Какая доля вариативности в успехе удара объясняется средним арифметическим показателем? Abelson проанализировал бейсбольную статистику, чтобы определить взаимосвязь между средним показателем отбитых мячей (по шкале от 0 до 1.0) и шансами на успех в каком-либо единичном случае.

Анализ Abelson (1985, с.132) показал, что коэффициент взаимосвязи между бейсбольными навыками (которые выражены средним показателем отбитых мячей) и вероятностью отбивания мяча в каком-либо единичном случае «ничтожно мал». В свете такой низкой статистической взаимосвязи он задался вопросом о том, почему же он сам, другие эксперты по статистике, бейсбольные фанаты и даже менеджеры бейсбольных команд считают, что среднее количество отбитых мячей играет такую значительную роль. Он приходит к выводу, что «успех игрока было бы адекватнее оценивать на протяжении всего сезона, а не успехом в каком-либо единичном случае» (с.132). Другим словами, несмотря на то, что возможность спрогнозировать единичное событие (т.е. успех игрока в единичном случае) является достаточно малой, значение имеет не единичное событие само по себе, а совокупный эффект многих подобных событий. Даже низкий уровень прогнозируемости единичных событий может приводить к получению довольно точных прогнозов, если эти события кумулятивны.

Итак, единичные события – будь это отбивание бейсбольного мяча или определенный тип поведения в конкретной ситуации общения – могут в сущности являться непрогнозируемыми. Говоря о коэффициенте валидности, эта проблема напрямую связана с проблемой выбора критериальной переменной. Должен ли прогнозируемый критерий представлять собой единичное событие, например, единичное наблюдение за поведением респондента в ситуации общения? Или же критерий должен представлять собой кумулятивную переменную, например, показатель, усредненный по множеству наблюдений за поведением респондента в ситуациях взаимодействия? Большие коэффициенты валидности с большей долей вероятности могут быть получены в том случае, когда критериальная переменная основана на совокупности нескольких наблюдений или событий.

ИНТЕРПРЕТАЦИЯ КОЭФФИЦИЕНТА ВАЛИДНОСТИ

После того, как коэффициент валидности получен, он должен быть проинтерпретирован. Разработчики тестов, эксперты по оценке и пользователи должны решить, являются ли коэффициенты валидности достаточно большими для того, чтобы сделать заключение о высокой конвергентной валидности, или же являются ли они достаточно малыми, чтобы сделать заключение о высокой дивергентной валидности. Несмотря на то, что коэффициент корреляции является точной количественной мерой взаимосвязи между двумя переменными, его значение не всегда интуитивно понятно. Информация о том, что корреляция между переменными равна, скажем, 0.40, может не иметь особого содержательного смысла, особенно для новичков в этой сфере исследований. Было замечено, что люди зачастую обращают внимание на то, что корреляция со значением 0.40 далека от совершенной корреляции со значением 1.0, и интерпретируют ее как достаточно слабую. Все, что далеко от совершенной корреляции, рассматривается как слабая взаимосвязь.

Эта тенденция может оказаться проблематичной при оценке коэффициента валидности, особенно когда валидность обсуждается с кем-то, не имеющим опыта в толковании корреляций. Например, директору по персоналу какой-либо компании нужно убедить работодателей, респондентов или юристов, что определенный тест может быть весьма эффективным инструментом прогнозирования профессиональной успешности. Чтобы подтвердить это, директор ссылается на данные исследования, согласно которым корреляция между показателями теста и профессиональной успешностью равна 0.40. Как известно, это означает, что люди, которые имеют относительно высокие баллы по данному тесту, будут также иметь относительно высокие показатели профессиональной успешности. Однако аудитория работодателей, респондентов и юристов может истолковать эти данные по-другому. Фактически, они могут заявить, что корреляция 0.40 далека от совершенной, и проинтерпретировать ее как свидетельство низкой валидности теста! Как же в таком случае директору по персоналу убедить аудиторию в том, что тест является полезным и дает эффективный прогноз?

Как говорилось выше, некоторыми из ключевых факторов, влияющими на размер коэффициента валидности, являются истинная корреляция между конструктами, дисперсия метода, соотношение респондентов в двух группах (определяемых по дихотомической переменной) и надежность. При интерпретации абсолютной величины коэффициента валидности становятся существенными еще несколько дополнительных факторов.

Квадрат корреляции и «доля объяснимой дисперсии»

В психологических исследованиях установившейся практикой является интерпретация квадрата коэффициента корреляции. Квадрат корреляции между двумя переменными зачастую интерпретируется как доля дисперсии одной переменной, которая «объясняется» другой переменной. Например, если между показателями социальной компетентности и самооценки обнаруживается коэффициент корреляции 0.30, он может быть интерпретирован в свете того, что 9% дисперсии переменной «самооценка» объясняется социальной компетентностью (0.30 в квадрате равняется 0.9). Конечно, этот результат можно истолковать и как свидетельство того, что 9% переменной «социальная компетентность» объясняется самооценкой.

Возможность толкования корреляции с позиций «доли объяснимой дисперсии» привлекательна, особенно в свете того, что психологические исследования в целом (и психометрика в частности) направлены на измерение и объяснение вариативности данных. Чем большая часть вариативности какого-либо феномена может быть объяснена, тем больше у исследователя уверенности в том, что он этот феномен понимает. Кроме того, интерпретация с позиций «доли объяснимой дисперсии» согласуется с различными статистическими процедурами, основанными на выделении компонентов дисперсии (например, регрессионный анализ и дисперсионный анализ ANOVA). Таким образом, интерпретация корреляционных взаимосвязей через квадрат корреляции и объяснение какой-либо части дисперсии весьма широко распространена.

Несмотря на то, что к этому методу достаточно часто прибегают, интерпретация корреляции через возведение ее в квадрат критиковалась по крайней мере по трем причинам. Во-первых, в ряде случаев такая процедура является технически некорректной. Более подробное обсуждение данного аргумента выходит за рамки этой книги. Заметим только, что Ozer (1985) утверждает, что в некоторых случаях в качестве доли объяснимой дисперсии следует интерпретировать не квадрат корреляции, а сам корреляционный коэффициент. Во-вторых, некоторые эксперты замечают, что метрика самой дисперсии не является интуитивно понятной. Вспомните, что дисперсия, будучи мерой разброса данный, вычисляется на основе отклонений от среднего, возведенных в квадрат. Дисперсия действительно обладает рядом замечательных статистических свойств, но как понимать квадраты отклонения от среднего арифметического? D’Andrade и Dart (1990) подчеркивают, что описание результатов в терминах квадратов отклонения или расстояния не является содержательным: вы ведь не объясняете друзьям, как пройти к вашему дому, говоря, что он находится в 9 квадратных милях от автострады? То же самое соображение верно и по отношению к квадрату коэффициента корреляции: есть мнение, что этот показатель не является интуитивно понятным и, следовательно, бесполезен для интерпретации взаимосвязи между двумя переменными.

Третий повод для критики квадрата корреляции является наименее техническим, но, возможно, самым веским из всех. Проще говоря, возведение корреляции в квадрат приводит к тому, что взаимосвязь между переменными кажется весьма незначительной. Часто можно услышать, что исследователи разочарованы тем, что они объяснили «только» 9% или 12% дисперсии какого-либо явления. Или можно столкнуться с критикой какого-либо исследования, в которой говорится, что объяснено «только» 16 % дисперсии. В самом деле, на первый взгляд кажется, что 9%, 12% и 16% представляют собой не слишком уж значительную долю чего бы то ни было. В конце концов, это значит, что около 90% дисперсии не объяснено, а это звучит уже довольно внушительно. Тем не менее, как будет показано ниже, 9%, 12% или 16% дисперсии какого-либо явления могут оказаться довольно значительным и важным показателем. Особенно это касается ситуации, когда речь идет о взаимосвязи только лишь двух переменных. Так, если выясняется, что с помощью всего одной переменной (например, социальной компетентности) можно объяснить почти 10 % вариативности такого сложного психологического феномена, как самооценка, этот показатель можно рассматривать как весьма значительную взаимосвязь.

Здесь можно привести и пример ситуации с бейсболом, описанный Abelson (1985). Вспомним, что исследование Abelson привело его к выводу о том, что взаимосвязь между средним количеством отбитых мячей и успехом в какой-либо единичной ситуации достаточно мала. В действительности его заключение было основано на анализах, которые показали, что навыки отбивания мяча (выраженные в среднем количестве отбитых мячей) объясняли в общем разбросе данных по каждому отдельному случаю всего лишь одну треть от 1 % дисперсии. Как уже обсуждалось выше, Abelson подчеркнул, что кумулятивный эффект многих ситуаций отбивания мяча является более объективным показателем и может объяснить распространенное доверие публики к характеристике бейсболистов по среднему количеству отбитых мячей. D’Andrade и Dart (1990) предлагают другой взгляд на то, как объяснить расхождение между итоговыми показателями, которые получил Abelson (весьма малый процент объяснимой дисперсии), и соображениями здравого смысла (среднее количество отбитых мячей является важным статистическим индикатором, характеризующим мастерство бейсболиста). Они полагают, что данное расхождение частично является следствием того, что процент объяснимой дисперсии является плохой мерой взаимосвязи. Комментируя данные, представленные Abelson, они указывают, что полученные результаты могут быть проинтерпретированы как свидетельство того, что разница между игроком с показателем 0.220 и игроком с показателем 0.320 создает 10-процентное различие в вероятности попадания по мячу в единичной игровой ситуации. D’Andrade и Dart признают, что «10% - число не огромное», однако «для тех, кто делает ставки, десятипроцентные рубежи имеют большой смысл. Как и для менеджеров бейсбольных команд» (с.58).

Толкование коэффициента валидности методом возведения его в квадрат и описания «доли объяснимой дисперсии» - общепринятый подход, который, однако, не избавлен от определенных проблем. Несмотря на то, что такая интерпретация соответствует ориентации психометрики на исследование дисперсии, в ней можно обнаружить некоторые технические и логические недостатки. Вероятно, момент, который подвергается наибольшей критике, заключается в том, что «доля объяснимой дисперсии» представляет взаимосвязи с некоторым преуменьшением их абсолютной величины и значимости.

Оценка практических эффектов: биномиальная таблица величины эффекта, таблицы Тейлора-Расселла, анализ полезности и чувствительность/специфичность

Один из способов толкования корреляции заключается в оценке степени ее влияния на «реальные» решения и прогнозы. Чем больше корреляция между тестом и критериальной переменной, тем более успешно можно использовать тест для принятия решений о критериальной переменной. Возвращаясь к предыдущему примеру, можно отметить, что директор по персоналу мог бы представить вопрос в терминах успешности использования теста для принятия решений о найме на работу, в терминах прогнозирования профессиональной успешности работника. Другими словами, как часто прогноз директора о том, что люди с относительно высокими тестовыми баллами будут иметь также относительно высокие показатели профессиональной успешности, будет оказываться верным? И как часто данный прогноз будет неверным? Существует по крайней мере четыре метода, разработанные для представления смысла корреляционной взаимосвязи в терминах точности прогнозирования, – биномиальная таблица величины эффекта (BESD; Rosenthal & Rubin, 1982), таблицы Тейлора-Рассела (Taylor & Russell, 1939), анализ полезности (Brogden & Taylor, 1950) и анализ чувствительности и специфичности теста (Loong, 2003).

Биномиальная таблица величины эффекта (BESD) была разработана для того, чтобы проиллюстрировать практические следствия использования корреляции для принятия решений. Как правило, такая таблица оформляется таким образом, чтобы она могла применяться для формулировки прогнозов и принятия решений на выборке из 200 человек, 100 из которых имеют относительно высокий балл по результатам тестирования, а 100 – относительно низкий балл. У какого количества человек (из первой и второй группы в отдельности) будет высокий балл по критериальной переменной? Ответ на этот вопрос можно представить в виде таблицы сопряженности 2х2 (см. Таблицу 9.6а). Построение биномиальной таблицы величины эффекта можно использовать для того, чтобы показать, какое количество успешных и неуспешных прогнозов будет сделано на основе коэффициента корреляции.

Начнем с наихудшего сценария, в котором корреляция между тестом и критериальной переменной составляет 0. Если тестовые баллы не коррелируют с показателем профессиональной успешности, доля точных прогнозов составит всего лишь 50/50 (см. Таблицу 9.6а). Из 100 человек с относительно низкими результатами тестирования 50 будут относительно успешными, а 50 – неуспешными. Сходным образом, из 100 человек с относительно высокими результатами тестирования 50 будут относительно успешными, а 50 – неуспешными. Когда тест не коррелирует с критериальной переменной, использовать его для того, чтобы делать прогнозы, все равно, что подбрасывать монетку. Естественно, директор по персоналу признает негодным тест, коэффициент валидности которого дает такую же долю успешных прогнозов, как орел и решка.

Таблица 9.6. Пример биномиальной таблицы величины эффекта (BESD)

1. Для корреляции r = 0.00

Тестовый балл	Профессиональная успешность
	Низкая	Высокая
Низкий	50	50
Высокий	50	50

2. Для корреляции r = 0.40

Тестовый балл	Профессиональная успешность
	Низкая	Высокая
Низкий	A 70	B 30
Высокий	C 30	D 70

Что если рассмотреть сценарий, при котором корреляция между тестом и критериальной переменной не равна нулю? Если результаты тестирования коррелируют с профессиональной успешностью, доля точных прогнозов будет превышать 50/50. Rosenthal и Rubin (1982) предлагают способ точно узнать, насколько именно. Заметьте, что Таблица 9.6b, структурирована так, что ячейка А соответствует количеству людей с низкими результатами тестирования, которые (согласно прогнозам) будут плохо справляться с работой. Чтобы определить данную величину, используется следующая формула:

Ячейка А = 50 + 100 (r/2),

где r – корреляция между тестом и критериальной переменной. Если корреляция между тестовыми баллами и профессиональной успешностью составляет r = 0.40, исследователь может дать прогноз, согласно которому 70 человек с низкими результатами тестирования будут иметь низкие показатели профессиональной успешности:

Ячейка А = 50 + 100 (0.40/2),

Ячейка А = 50 + 20,

Ячейка А = 70.

В данном случае прогноз для ячейки B (количество людей с низкими результатами тестирования, которые, согласно прогнозу, будут успешными в профессиональном плане) будет следующим:

Ячейка B = 50 – 100 (r/2),

Ячейка В = 50 – 100 (0.40/2),

Ячейка В = 50 – 20,

Ячейка В = 30.

Прогноз профессиональной успешности для ячеек С и D соответствует ячейкам А и В, дополняя их:

Ячейка С = Ячейка В = 50 – 100 (r/2) = 30,

Ячейка D = Ячейка А = 50 + 100 (r/2) = 70.

Попробуем, основываясь на данных, представленных в биномиальной таблице величин эффекта, рассмотреть значение и полезность коэффициента корреляции, составляющего «всего лишь» 0.40. Если бы директор по персоналу нанял только кандидатов с относительно высокими тестовыми баллами, тогда 70 % этих кандидатов оказались бы в профессиональном плане успешными и только 30 % - неуспешными. Доля точности прогноза, равная 70 %, несовершенна, но для такого сложного феномена, как профессиональная успешность, весьма приемлема. Многое зависит от стоимости обучения персонала, однако работодатель может рассматривать долю точности прогноза, равную 70%, как весьма значительную.

В целом биномиальная таблица величины эффекта используется для того, чтобы перевести коэффициент корреляции в простую и интуитивно понятную форму. Представляя взаимосвязь между двумя переменными в форме доли успешных прогнозов, таблица BESD выражает коэффициент корреляции между тестом и критериальной переменной в такой форме, которая знакома большинству людей и которую легко понять.

Несмотря на всю наглядность биномиальных таблиц величины эффекта, способность данного метода выражать практический смысл коэффициента корреляции подвергалась критике (Hsu, 2004). Один из ключевых моментов критики этого метода заключается в том, что в таблице автоматически предполагается численное равенство групп респондентов. Другими словами, данный метод предполагает такую ситуацию, в которой количество людей с низкими тестовыми баллами является равным количеству людей с высокими тестовыми баллами. Кроме того, в этом методе предполагается, что половина выборки является «успешной» в отношении критериальной переменной, а половина – нет. Как указывалось ранее в этой главе, количественное соотношение респондентов в разных группах может оказывать влияние на коэффициент корреляции. Несмотря на то, что допущение равенства групп в некоторых случаях оправдано и возможно, в реальных жизненных ситуациях оно может использоваться не всегда. Например, директор по персоналу может нанять только 10% людей из всей выборки, а не 50%. Кроме того, может оказаться, что достичь профессиональной успешности достаточно трудно, такая возможность может составлять, например, лишь 20%.

В ситуациях, когда допущение равных пропорций численности респондентов является неприемлемым, можно использовать таблицы, разработанные Taylor и Russell (1939). Данные таблицы были разработаны для того, чтобы сопровождать принятие решений об отборе. Они отображают вероятность того, что принятие конкретного решения, основанное на «приемлемых» результатах тестирования, отразится (в сторону улучшения) на успешности по критериальной переменной. Как и в BESD, в таблицах Тейлора-Расселла и предиктор (тест), и зависимая (критериальная) переменная выражаются в дихотомической шкале. Например, директор по персоналу, принимая решение о найме на работу, может воспринимать итоги тестирования кандидата в терминах «прошел – не прошел». Кроме того, он будет воспринимать саму критериальную переменную (успешность профессиональной деятельности) как высокую либо низкую (третьего не дано). Главное отличие биномиальных таблиц величины эффекта и таблиц Тейлора-Расселла заключается в том, что таблицы Тейлора-Расселла могут применяться к решениям, основанным на различных пропорциях удовлетворительных / неудовлетворительных результатов тестирования и успешного/неуспешного выполнения работы.

Чтобы использовать таблицы Тейлора-Расселла, необходимо обладать некоторой информацией. Во-первых, какова величина коэффициента валидности? Во-вторых, какова доля отбора – то есть процент кандидатов, которых собираются нанять на работу? Будут ли наняты 10% кандидатов (а 90% будет отказано) или 30%? В-третьих, какова доля людей, которые могли бы иметь «успешные» критериальные показатели, если бы отбор был сделан без помощи тестирования? То есть, допуская, что найм был проведен невзирая на показатели теста, сколько работников достигли бы успешности в выполнении своей деятельности?

Обладая данной информацией, можно воспользоваться таблицами Тейлора-Расселла, чтобы оценить долю людей с приемлемыми результатами тестирования, которые к тому же достигают успеха на работе. Например, если бы исследователю было известно, что 10% людей будут наняты (доля отбора составляет 0.10) и что общий показатель профессиональной успешности равен 60% (доля успешности составляет 0.60), тогда он мог бы оценить степень полезности теста для принятия решений об отборе. Если отборочный тест имеет коэффициент валидности, равный 0.30, таблицы Тейлора-Расселла покажут директору по персоналу, что 79% кандидатов, отобранных на основании тестирования, будут профессионально успешными. Следует заметить, что данный показатель выше, чем те 60%, которые были бы получены, если бы найм был произведен невзирая на тестовые показатели. Таким образом, директор по персоналу приходит к выводу о том, что данный тест увеличивает эффективность отбора кандидатов на 19%.

Применяясь в рамках принятия решений о найме на работу, таблицы Тейлора-Расселла были популярны в промышленной и организационной психологии. Описывая их, мы ставим перед собой цель осведомить читателя о существовании данного метода (см. Taylor & Russell, 1939) и обозначить его важность в контексте оценки значения коэффициента валидности.

Третий метод интерпретации коэффициента валидности – анализ полезности, который можно рассматривать как логическое развитие биномиальных таблиц величины эффекта (BESD) и таблиц Тейлора-Расселла. Анализ полезности определяет валидность в рамках сопоставления затрат и выгод от использования теста. Другими словами, «Выгодно ли использовать тест, действительно ли преимущества от его использования окупают затраты?» (Vance & Colella, 1990, с.124). Несмотря на то, что подробное обсуждение анализа полезности выходит за рамки данной книги, предоставим краткое его описание.

При проведении анализа полезности различным аспектам тестирования и процесса принятия решения приписывается денежная стоимость. Во-первых, исследователь должен оценить денежную выгоду от использования в процессе принятия решения именно данного теста, а не других средств. Например, можно оценить финансовую выгоду от применения теста по сравнению с той ситуацией, когда кандидат принимается на работу без прохождения тестирования. Следует заметить, что при этом могут применяться и таблицы Тейлора-Расселла, например, указывая процентную долю получивших работу соискателей, достигших впоследствии больших профессиональных успехов. Исходя из этого показателя, исследователь затем оценивает соответствующую финансовую выгоду от применения процедуры тестирования. Во-вторых, необходимо оценить тестирование на затратность. Процедура тестирования может предполагать затраты на покупку теста, обработку результатов, обучение людей, принимающих решения, интерпретации и грамотному использованию тестовых баллов, а также на время, затрачиваемое респондентами и диагностами. По результатам анализа полезности исследователь может оценить, превышает ли денежная выгода от использования теста (на которую, опять же, влияет способность теста прогнозировать критериальные переменные) потенциальные затраты, связанные с проведением тестирования.

Четвертый метод оценки практического эффекта использования определенного теста - анализ чувствительности и специфичности. Такой анализ применяется обычно в рамках диагностики групповой принадлежности респондента или категории, приписываемой ему по некоторой качественной шкале. Так, тест может быть направлен на то, чтобы диагностировать присутствие либо отсутствие определенного психологического расстройства. В таком случае существуют четыре возможных исхода диагностики, как показано в Таблице 9.7:

1. Верный положительный – тест позволяет исследователю верно идентифицировать респондента, который действительно страдает от психологического расстройства.

2. Верный отрицательный – позволяет исследователю верно идентифицировать респондента который в действительности не страдает от психологического расстройства.

3. Ошибочный положительный – по результатам тестирования исследователь ошибочно делает заключение о наличии расстройства, когда в действительности его нет.

4. Ошибочный отрицательный – по результатам тестирования исследователь ошибочно делает заключение об отсутствии расстройства, когда в действительности расстройство имеется.

Таблица 9.7. Пример анализа чувствительности и специфичности

		В действительности, расстройство:
		Присутствует	Отсутствует
Результаты теста показывают, что расстройство	Присутствует	80 Верный положительный	120 Ошибочный положительный	Всего с положительным результатом 200	Положительный прогностический коэффициент 80/200 = 0.40
	Отсутствует	20 Ошибочный отрицательный	780 Верный отрицательный	Всего с отрицательным результатом 800	Отрицательный прогностический коэффициент 780/800 =0.975
		Всего с расстройством 100	Всего без расстройства 900	Всего = 1000
		Чувствительность 80/100 = 0.80	Специфичность 780/900 = 0.87	Базовое отношение (преобладание, предтестовая вероятность) = 100/1000 = 0.10

Очевидно, что пользователи предпочитают такие тесты, которые приводят к большому количеству верных выводов и малому количеству ошибочных.

Чувствительность и специфичность - величины, указывающие долю правильных заключений исследователя о групповой принадлежности респондента. Как показано в Таблице 9.7, чувствительность отражает способность теста распознавать респондентов, страдающих от расстройства, а специфичность отражает способность теста распознавать респондентов, не страдающих от расстройства. В техническом плане чувствительность отражает вероятность того, что у респондента, обладающего расстройством, по результатам тестирования это расстройство будет диагностировано; специфичность же отражает вероятность того, что тест не выявит расстройства у человека, его не имеющего. На практике ученые и пользователи теста не могут точно знать, кто из респондентов действительно страдает от расстройства, но показатели чувствительности и специфичности теста оцениваются с помощью исследований, в которых используются высоконадежные стандарты постановки диагноза.

В целом такие методы, как биномиальные таблицы величины эффекта, таблицы Тейлора-Расселла, анализ полезности и анализ чувствительности/специфичности, позволяют оценщикам более наглядно представить и описать значение определенного коэффициента валидности и потенциальную практическую пользу от применения разработанного теста. Данные методы важны и полезны особенно тогда, когда тест тесно связан с определенным конкретным результатом, характеристикой или решением.

Нормативы или стандарты в определенной области

Корреляции валидности также следует оценивать в контексте определенной сферы исследования или практического применения. В различных сферах науки можно найти различные стандарты или привычные диапазоны величины взаимосвязей. В некоторых сферах науки экспериментальный контроль над переменными является более строгим, чем в других. Некоторые сферы обладают более точными измерительными техниками. В некоторых сферах рассматриваются более комплексные явления, обусловленные большим количеством причин. Все эти различия оказывают влияние на значительность результатов, получаемых в исследовании.

В рамках физических наук ученые могут в порядке вещей обнаруживать взаимосвязи, которые психологи и другие ученые, исследующие поведение, посчитали бы невероятно сильными. Например, в 2000 году изучалась взаимосвязь между массой черных дыр в центре галактики и средней скоростью звезд на краю галактики (Gebhardt et al., 2000). В данное исследование были включены примерно 26 галактик («испытуемых»), и для каждой галактики проводилось измерение по двум переменным. Одна из переменных – величина черной дыры в центре галактики, а вторая – скорость звезд, вращающихся по периферии галактики. По результатам анализа корреляция между этими двумя показателями составила 0.93. В реальных эмпирических данных из сферы психологии такую высокую корреляцию обнаружить если и можно, то достаточно редко. Сходным образом, Cohen (1988) указывает на то, что исследователи в сфере классической механики часто приходят к результатам, в которых доля объяснимой дисперсии зависимой переменной составляет 99 %.

В психологии на Джейкоба Коэна (Jacob Cohen) часто ссылаются в связи с тем, что он сформулировал приблизительные нормативы для интерпретации корреляции как малой, средней и значительной меры взаимосвязи. Согласно рекомендациям Cohen (1988), коэффициент корреляции 0.10 считается малым, 0.30 - средним, а 0.50 – значительным, большим (следует заметить, что Cohen предлагает также другие нормативы для толкования других величин эффекта, таких как d). Не так давно Hemphill (2003) провел обзор нескольких крупных исследований и предположил, что более приемлемый ряд нормативов будет состоять в том, что корреляции ниже 0.20 будут считаться малыми, корреляции между 0.20 и 0.30 будут считаться средними, а корреляции выше 0.30 – большими.

Даже в рамках психологии различные области исследования могут иметь разные ожидаемые результаты величины эффекта. Например, нормативы Hemphill (2003) были выведены из исследований по психологическим диагнозам и терапии. Степень, в которой его нормативы подходят другим областям исследования в психологии и в целом в науках о поведении, остается неизвестной. Сходным образом, Cohen (1988) признает, что его нормативы «могут иметь крен в более «гуманитарную» сферу – т.е. в сторону психологии личности, социальной психологии, социологии и культурной антропологии и в противоположном направлении от экспериментальной психологии и психофизиологии» (с.79). Можно сделать вывод о том, что интерпретация коэффициентов валидности, как и любой другой меры взаимосвязи, должна производиться в контексте определенной сферы или области исследования.

Статистическая значимость

Можно ли интерпретировать результаты исследования теста академических способностей SAT, в котором получен коэффициент прогностической валидности 0.55, как свидетельствующий о конвергентной валидности теста? При использовании для данной корреляции биномиальной таблицы величины эффекта успешность прогноза успеваемости школьников, принятых в колледж, составляет почти 80%. А что если обнаружилось бы, что исследование включало лишь 20 респондентов? Это изменило бы степень уверенности в коэффициента валидности? Если да, то как? Что, если обнаружилось бы, что исследование включало 200 респондентов? Изменило бы это уверенность в его результатах в лучшую сторону? В чем именно заключалось бы преимущество данного исследования перед предыдущим?

Ранее в этой главе описывалось реальное исследование прогностической валидности теста SAT. Это было большое исследование, которое включало более 100 000 студентов из 25 колледжей. В чем состоит польза проведения такого большого исследования? Действительно ли существует необходимость в настолько большой выборке? Как известно, большинство исследований в психологии, включая большинство исследований валидности, используют гораздо меньшие выборки – обычно как максимум несколько сотен участников. Теряем ли мы что-то, набирая выборки такого размера?

Последняя тема, которая будет рассмотрена в представленном здесь обсуждении показателей конвергентной и дивергентной валидности, – статистическая значимость. Понятие статистической значимости является важной частью статистики вывода, т.е. процедур, использующихся для оценки распространимости выводов с выборки на генеральную совокупность. Ниже будут описаны несколько основополагающих вопросов статистики вывода, затем будет рассмотрена их роль в интерпретации коэффициентов валидности.

В большинстве исследований задействована относительно небольшая выборка участников. Эти участники обеспечивают исследователей данными, которые анализируются и служат основанием для того, чтобы делать определенные заключения. Но у исследователей обычно возникает желание делать заключения о большем количестве людей, нежели лишь тех, которые принимали участие в их исследовании. Как правило, ученый предполагает, что опрошенные им респонденты представляют собой случайную выборку из гораздо большей популяции. Те 20, 200 или 100 000 людей, которые принимают участие в тестировании по SAT, предположительно репрезентативны по отношению к совокупности всех учеников, которые могли бы заполнить SAT и в дальнейшем поступать в колледж.

Поскольку выборка участников исследования предположительно репрезентативна по отношению к генеральной совокупности, исследователи предполагают, что данные, полученные на выборке, более или менее соответствуют генеральной совокупности. Поэтому данные, полученные на выборке, используются для того, чтобы делать выводы относительно всей генеральной совокупности респондентов. Например, исследователь, обнаруживший, что коэффициент прогностической валидности теста SAT равен 0.55, полагает, что этот результат применим к куда большему количеству людей, чем лишь к тем 20, 200 или 100 000 респондентам, которые непосредственно принимали участие в исследовании.

Вместе с тем исследователи осознают, что распространение результатов с относительно небольшой выборки на генеральную совокупность – дело весьма неточное. Например, можем ли мы быть уверены в том, что тест академических способностей SAT в генеральной совокупности будет обладать прогностической валидностью, равной 0.55, только лишь потому, что данные тестирования 20 человек показывают прогностическую валидность, равную 0.55? Возможно, выборка из 20 человек не является репрезентативной по отношению ко всей совокупности учеников, которые могли бы заполнить тест. Поэтому возможно, что коэффициент прогностической валидности, полученный на данной выборке, не соответствуют реальной прогностической валидности теста.

Статистика вывода используется для того, чтобы оценить степень достоверности в распространении выводов с выборки на генеральную совокупность. Исследователи подсчитывают показатели статистики вывода вместе с такими показателями, как корреляции, чтобы в итоге оценить репрезентативность корреляции, обнаруженной на определенной выборке респондентов. Проще говоря, если какой-либо результат при исследовании выборки оказывается «статистически значимым», исследователи уверены в том, что этот результат показателен для всей генеральной совокупности. Например, если в исследовании получена статистически значимая положительная корреляция, характеризующая прогностическую валидность SAT, ученый делает вывод о том, что в генеральной совокупности, из которой была набрана выборка респондентов, баллы по тесту SAT действительно положительно коррелируют с успеваемостью в колледже. С другой стороны, если результат оказывается статистически незначимым, исследователь не может быть уверенным в том, что этот результат характерен и для всей генеральной совокупности. Например, если в исследовании получен статистически незначимый положительный коэффициент валидности теста SAT, делается вывод о том, что этот коэффициент мог быть обнаружен случайно. Другими словами, в данном случае нельзя сделать вывод о том, что в рамках генеральной совокупности респондентов (из которой была набрана выборка) баллы по тесту академических способностей действительно положительно связаны со средним баллом успеваемости в колледже.

Зная все это, неудивительно, что многие исследователи придают статистической значимости большую важность. Зачастую статистически значимые результаты рассматриваются как «настоящие» и достойные внимания, а статистически незначимые результаты - как бессмысленные или неприменимые к генеральной совокупности. Несмотря на то, что такой подход недостаточно точен, он очень распространен.

Таким образом, абсолютная величина коэффициента валидности – лишь один из компонентов, который необходимо учитывать при оценке наличия или отсутствия конструктной валидности. В дополнение к вычислению и интерпретации этой величины самой по себе (напр., является ли она малой, средней или значительной) разработчики и пользователи тестов обычно изъявляют желание знать, является ли коэффициент валидности статистически значимым. При оценке конвергентной валидности исследователи предполагают обнаружить статистически значимые коэффициенты корреляции. При оценке дивергентной валидности исследователи предполагают обнаружить статистически незначимые коэффициенты корреляции (указывающие на то, что результаты теста в рамках генеральной совокупности с критериальной перменной не связаны).

Поскольку статистическая значимость часто является важной частью процесса интерпретации коэффициентов валидности, необходимо иметь базовое представление о понятии статистической значимости и факторах, на нее влияющих. В типичном варианте интерпретации коэффициента валидности показатель статистической значимости необходим для ответа лишь на один вопрос – действительно ли коэффициент корреляции, указывающий на валидность, в генеральной совокупности отличается от нуля?

Следует заметить, что данный вопрос предполагает два варианта ответа – «да» или «нет». Вычисление статистической значимости приводит к дихотомическому заключению – исследователи либо приходят к выводу, что взаимосвязь между тестом и критериальной переменной в генеральной совокупности существует, либо же они приходят к выводу, что такой взаимосвязи не существует. Опять же, при оценке конвергентной валидности исследователи хотят прийти к выводу о том, что данная взаимосвязь существует, следовательно, надеются обнаружить статистически значимые результаты. При оценке дивергентной валидности исследователи хотят прийти к выводу о том, что взаимосвязи между тестом и критериальной переменной не существует (или же она является малой), следовательно, надеются обнаружить статистически незначимые результаты. Campbell и Fiske (1959) считали статистическую значимость ключевым моментом в толковании результатов анализа матрицы множественных методов и признаков (МММП).

Более сложный вариант формулировки основного вопроса звучит так: являются ли результаты, полученные на выборке, достаточно убедительными, чтобы быть уверенными в том, что корреляция для генеральной совокупности (из которой была набрана выборка респондентов) отлична от нуля? В такой формулировке на первый план выдвигается понятие уверенности (доверия), кроме того, имплицитно предполагаются еще два вопроса, в которых подчеркиваются факторы, влияющие на статистическую значимость. Первый вопрос: насколько велика уверенность в том, что коэффициент корреляции в генеральной совокупности, из которой была набрана выборка, не равен нулю? Второй вопрос: достаточно ли велика степень уверенности в этом, чтобы прийти к выводу, что коэффициент корреляции в генеральной совокупности, из которой была набрана выборка, не равен нулю?

Существуют два фактора, влияющих на степень уверенности в том, что корреляция в генеральной совокупности не равна нулю – величина коэффициента корреляции в данных по выборке и величина самой выборки. Обратите внимание на то, что большие коэффициенты корреляции (полученные на выборке респондентов) повышают уверенность в том, что корреляция в генеральной совокупности также не равна нулю. Если корреляция между показателями теста академических способностей SAT и средним баллом успеваемости в колледже (GPA) в рамках генеральной совокупности буквально равна нулю, то какую корреляцию можно обнаружить для выборки, набранной из числа респондентов этой генеральной совокупности? Даже если коэффициент корреляции в генеральной совокупности составляет ровно 0.00, не столь уж и удивительно, что в рамках выборки был получен коэффициент, равный, скажем, 0.07. Данная корреляция не столь велика и лишь слегка отличается от «истинной» корреляции между показателями. Не слишком неожиданным будет и обнаружение коэффициента корреляции, составляющего 0.15. Идя дальше, есть вероятность обнаружить на выборке еще большую корреляцию, равную, скажем, 0.30, хотя в действительности (в генеральной совокупности) эта корреляция и равна нулю. Такой результат (0.30) маловероятен, но все же возможен. Фактически, возможно даже, что в выборке обнаружится очень значительный коэффициент корреляции (напр., равный 0.89) - даже если эта выборка была набрана из генеральной совокупности, в которой «истинный» коэффициент корреляции равняется нулю. Коротко говоря, если выборка набрана из генеральной совокупности, коэффициент корреляции в которой равняется нулю, вероятность обнаружить в выборке значительный коэффициент корреляции мала, хотя и не исключается. Поэтому чем больше корреляции, полученные на выборке, тем больше уверенность исследователя в том, что в генеральной совокупности соответствующая корреляция также отлична от нуля. Следовательно, такие корреляции с большей вероятностью будут обладать высокой статистической значимостью.

Второй фактор, влияющий на степень уверенности исследователя в том, что корреляция в генеральной совокупности отлична от нуля - величина выборки. При прочих равных условиях более многочисленные выборки увеличивают уверенность в выводах, распространяемых на генеральную совокупность. Предположим, опубликованы результаты исследования, в котором получен коэффициент корреляции между баллами по тесту SAT и средним баллом успеваемости в колледже GPA, равный 0.30. Допустим, известно, что данное исследование включало только 20 респондентов. Какова степень уверенности в том, что существует положительная корреляция между баллами SAT и GPA для всех студентов, которые могли бы принять участие в такого рода исследовании? Изменится ли что-либо, если выборка составит 200 или 100 000 респондентов? Очевидно, что большие размеры выборки делают выводы о генеральной совокупности более достоверными.

Итак, на уверенность исследователя в выводах о том, что корреляция в генеральной совокупности не равна нулю, влияют величина самой корреляции и величина выборки. Точные статистические уравнения выходят за рамки представленного здесь обсуждения, но в целом можно сделать вывод о том, что более значительные по величине корреляции и выборки увеличивают уверенность исследователя в том, что истинная корреляция в генеральной совокупности не равна нулю. Поэтому более значительные по величине корреляции и увеличивают вероятность того, что результаты исследования валидности будут статистически значимы. Все эти соображения выражены в следующем уравнении (по Rosenthal, Rosnow & Rubin, 2000):

Чтобы признать результаты статистически значимыми, необходимо обладать определенным уровнем уверенности в том, что корреляция между исследуемыми показателями в генеральной совокупности не равна нулю.

Степень уверенности в том, что тест коррелирует с критериальной переменной в генеральной совокупности

=

Величина коэффициента валидности в выборке

х

Размер выборки

Таким образом, второй вопрос, имеющий отношение к статистической значимости, - достаточно ли велика степень уверенности в результатах, чтобы прийти к выводу о том, что корреляция для генеральной совокупности, из которой была набрана выборка, не равна нулю? Более значительные по величине корреляции и более значительные по величине выборки увеличивают степень уверенности исследователя в полученных результатах, однако необходимо все же задаться вопросом, предполагают ли результаты определенного исследования достаточную степень уверенности для того, чтобы считать эти результаты статистически значимыми? Необходимо установить определенный уровень достоверности, которого нужно достичь, чтобы иметь право утверждать, что корреляция исследуемых показателей в генеральной совокупности не равна нулю. Традиционно в науках о поведении в качестве порогового значения статистической значимости используется степень достоверности на уровне 95 %. Другими словами, исследователи рассматривают результаты как статистически значимые, если вероятность того, что они ошибочны либо обнаружены случайно, составляет меньше 5 % (0.05). Данный условный уровень получил название «альфа-уровня» исследования. Если данные статистики вывода превышают альфа-уровень, можно быть достаточно уверенными в том, что коэффициент валидности в генеральной совокупности, из которой была набрана выборка, не равен нулю.

Как уже говорилось, статистическая значимость является важным моментом интерпретации показателей конвергентной и дивергентной валидности. Тот факт, что на статистическую значимость влияют величина выборки, величина эффекта (т.е., величина коэффициента валидности в выборке) и альфа-уровень, является весьма важным. На эти моменты необходимо обращать пристальное внимание при интерпретации данных статистики вывода. Результаты исследования валидности могут быть статистически значимыми, даже если коэффициент валидности весьма мал. Так может случиться, например, если выборка, использованная в исследовании валидности, достаточно велика. Сходным образом, результаты исследования валидности могут быть статистически незначимыми, даже если коэффициент валидности довольно значителен. Так может случиться, если в исследовании была использована относительно небольшая выборка.

Ранее было замечено, что большинство исследователей надеются обнаружить статистически значимые показатели конвергентной валидности и статистически незначимые показатели дивергентной валидности. Но каковы следствия обнаружения того, что коэффициент корреляции, выражающий конвергентную валидность, статистически незначим? Типичное объяснение будет заключаться в том, что исследуемый тест обладает слабой конвергентной валидностью (т.е., конвергентная корреляция для генеральной совокупности может быть равна нулю). Однако подобный результат следует толковать не только в соответствии с величиной корреляции, но и с величиной выборки. Статистически незначимая конвергентная корреляция валидности может обнаруживаться из-за малой величины самого коэффициента корреляции или же из-за малого размера выборки. Если корреляция мала, это, несомненно, является свидетельством невысокой конвергентной валидности теста. Однако если корреляция достаточно велика, а выборка – мала, результаты могут и не означать слабой валидности теста. Они могут означать, например, слабые места в организации самого исследования. Если использовалась слишком малая выборка, тогда перед тем, как делать выводы о конструктной валидности, следует провести более масштабное исследование.

С другой стороны, каковы следствия обнаружения того, что коэффициент корреляции, выражающий дивергентную валидность, статистически значим? Типичное объяснение заключается в том, что тест обладает слабой дивергентной валидностью (т.е. дивергентная корреляция для генеральной совокупности может быть не равна нулю). Однако подобный результат следует толковать не только в соответствии с величиной корреляции, но и в соответствии с величиной выборки. Статистически значимая дивергентная корреляция валидности может обнаруживаться из-за большой величины корреляции или из-за большой величины выборки. Если корреляция велика, это является несомненным свидетельством против дивергентной валидности теста. Однако если корреляция мала, а выборка – достаточно велика, результаты могут и не относиться напрямую к дивергентной валидности теста. Если выборка достаточно велика (скажем несколько тысяч участников), существует вероятность того, что корреляция, равная лишь 0.10, 0.06 или даже меньше может оказаться статистически значимой. В таких случаях показатели статистической значимости являются практически бессмысленными, и их следует игнорировать.

В целом статистическая значимость, применимо к исследованию валидности, является важным, однако сложным понятием. Несмотря на то, что она играет значительную роль в интерпретации коэффициентов конвергентной и дивергентной валидности, к ней стоит относиться с некоторой осторожностью. Как правило, конвергентные корреляции должны быть статистически значимы, а корреляции дивергентной валидности – статистически незначимы. Однако это общее правило следует применять, обращая внимание и на другие факторы. Углубленное изучение показателей статистической значимости показывает, что они определяются и величиной выборки, и величиной коэффициентов конвергентной и дивергентной валидности. Поэтому статистически незначимая конвергентная корреляция может отражать тот факт, что в исследовании была использована выборка недостаточного размера, а статистически значимая дивергентная корреляция может отражать тот факт, что выборка, использованная в исследовании, была слишком большой.

РЕЗЮМЕ

Исследование конвергентной и дивергентной валидности является ключевым моментом в эмпирической оценке валидности теста. В данной главе рассматривались вопросы, имеющие отношение к вычислению и оценке соответствующих показателей этих важных форм валидности теста. Сперва были описаны четыре метода, использующиеся для оценки конвергентной и дивергентной валидности (напр., матрицы множественных методов и признаков). Затем рассматривались семь факторов, которые могут оказывать влияние на величину коэффициентов валидности (напр., ошибка измерения, процентное соотношение количества респондентов в разных группах, дисперсия метода). Наконец, были рассмотрены четыре важных вопроса, на которые следует обращать внимание при интерпретации коэффициентов валидности (напр., доля объяснимой дисперсии, статистическая значимость, практическая ценность). Знание вопросов, рассмотренных в данной главе, может обеспечить более глубокое и изысканное понимание процессов оценки и интерпретации валидности теста.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА

Обсуждение вопросов интерпретации величины эффекта:

Abelson, R. P. (1985). A variance explanation paradox: When a little is a lot. Psychological Bulletin, 97, 129-133.

Классическая статья, в которой впервые описываются матрицы множественных методов и признаков:

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait multimethod matrix. Psychological Bulletin, 56, 81-104.

Описание таблиц Тейлора-Расселла:

Taylor, H. C., & Russell, J. T. (1939). The relationship of validity coefficients to the practical effectiveness of tests in selection: Discussion and tables. Journal of Applied Psychology, 23, 565-578.

В данной статье представлена общая логика и вычислительные тонкости процедуры квантификации конструктной валидности:

Westen, D., & Rosenthal, R. (2003). Quantifying construct validity: Two simple measures. Journal of Personality and Social Psychology, 84, 608-618.

В этой работе дается обзор понятия статистической мощности. Статистическая мощность – важная составляющая оценки статистической значимости коэффициентов валидности.

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.

В данной работе представлен факторно-аналитический подход к исследованию матриц множественных методов и признаков (МММП):

Widaman, K. E. (1985). Hierarchically nested covariance structure models for multitrait multimethod data. Applied Psychological Measurement, 9, 1-26.