Тема 5. Валидность и надежность измерения
1. Понятие валидности.
2. Способы валидизации.
3. Надежность измерения.
1. Понятие валидности
Возникает вопрос, как определить, действительно ли выбранный способ операционализации соответствует свойствам интересующего нас понятия. Чаще наши показатели лишь окольным путем измеряют эти свойства. Поэтому не исключено, что они отразят не совсем то, что нас интересует. Для определения степени соответствия выбранного показателя тому, что измеряется, используется понятие валидность. В литературе можно встретить вместо валидности термин «обоснованность».
Валидность, или обоснованность, – это степень соответствия измеряемого показателя тому понятию, которое он призван выразить.
Проблема состоит в том, что невалидность измерений может обнаружиться после того, как исследование проведено и данные собраны. И тогда все результаты исследования теряют свою ценность.
Поэтому необходимо заранее убедиться, что показатели валидны и что мы действительно замеряем то, что необходимо замерить. Обычно показатели проверяются и уточняются в ходе так называемого пилотажного, или пробного, исследования.
Пилотажное исследование – исследование небольшого масштаба для выявления слабых мест в измерительном инструментарии.
2. Способы валидизации
Процесс проверки валидности измерений называется валидизацией. Имеется четыре способа валидизации: прагматический, конструктный, дискриминантный и очевидный.
Прагматическая валидизация состоит в проверке, насколько свойства показателя интересующего нас понятия позволяют предсказывать поведение показателя независимого понятия, не входящего в теорию данного исследования (рис. 5.1).
Рис. 5.1.Схема прагматической валидизации
Допустим, мы выдвинули гипотезу, что у более образованных людей, как правило, и более дорогая машина. Мы имеем два абстрактных понятия: образование, А, и стоимость автомашины, B. Гипотеза звучит так: чем выше А, тем выше В.
Теперь нам нужно операционализировать понятия А и В. Отметим, кстати, что не так просто операционализировать понятие «стоимость автомашины». Можно, конечно, узнать в соответствующих инстанциях, за сколько вот этот респондент купил свою автомашину, или спросить у него самого. Но эти данные необязательно точны. Они могут быть занижены из-за разных соображений, например чтобы уменьшить налог на покупку.
Далее, обследование должно быть массовым и анонимным, поэтому очень сложно узнать стоимость машины у тысячи респондентов.
Причем нужно иметь в виду не ту цену, за которую купили автомашину, а сколько она сейчас реально бы стоила, если бы ее решили продавать, значит, учесть степень ее изношенности, так сказать, бэушности. Ясно, что возникли бы свои проблемы с операционализацией понятия «стоимость автомашины».
Но нас в данном случае интересует понятие «образование». Мы знаем, что операционалировать это понятие можно разными способами. Можно построить шкалу типов учебных заведений: неполное среднее образование, среднее, среднее специальное, высшее, т. е. использовать показатель а1 из темы 3. Можно учитывать число лет, проведенных в учебных заведениях, т. е. использовать показатель а2. Можно проверить респондентов на коэффициент интеллекта через число задач, решенных в заданное время, это будет показатель а3.
Допустим, мы решили убедиться в валидности показателя а2. Мы берем независимое понятие, которое тем не менее отражает степень образованности респондентов. В качестве такого показателя примем уровень сложности периодических изданий, на которые подписываются респонденты. Операционализируем это понятие через процент подписчиков на массовую газету «Коммерсантъ» – издание, дающее информацию о курсах акций различных компаний, прогнозы курсов валют и другие данные по экономике. Пусть это и будет показатель d. Очевидно, что среди таких подписчиков должно быть относительно больше тех, кто имеет дорогие машины. И очевидно, что эти подписчиков должны быть более образованными людьми.
И если подтвердится, что более высокому (более низкому) показателю а2 в большинстве случаев соответствует и более высокий (более низкий) показатель d, то есть а2 и d находятся в отношении ковариации, то мы делаем вывод, что показатель а2 валиден. То есть, например, должно подтвердиться, что среди тех, кто затратили больше лет на учебу, относительно больше подписчиков на газету «Коммерсантъ».
Тут можно выделить следующие правила. Первое. Надо найти независимое понятие, которое заведомо должно находиться в отношении ковариации с интересующим нас понятием.
Второе, нужно операционализировать независимое понятие так, чтобы полученный показатель был точно валиден, потому что бессмысленно проверять валидность одного показателя при помощи показателя, который сам нуждается в проверке на валидность.
Проблема заключается в том, что явно валидные показатели встречаются довольно редко. Например, на первый взгляд, можно считать вполне валидной статистику самоубийств при операционализации понятия удовлетворенности жизнью в данной стране. Вроде бы очевидно, что чем меньше самоубийств на 100 000 населения, тем более удовлетворены люди своей жизнью.
Но можно также считать явно валидным показатель средней продолжительности жизни. Потому что ясно, что у более удовлетворенных жизнью людей соответственно и большая в среднем продолжительность жизни.
Но, странным образом, оказывается, что в европейских странах показатели статистики самоубийств и средней продолжительности жизни находятся в отношении ковариации. Там, где в среднем дольше живут, там, как правило, и чаще самоубийства. Но тогда получается противоречие: одновременно люди данного общества удовлетворены жизнью и не удовлетворены жизнью.
А это значит, что по крайней мере один из двух показателей точно невалиден. Но как определить, который из них? Итак, трудно найти независимое понятие с точно валидным показателем.
Поэтому можно применить второй способ валидизации, а именно − конструктную валидизацию. Здесь проверяют, насколько свойства показателя интересующего нас понятия позволяют предсказывать свойства показателя понятия, тоже входящего в теорию исследования. Различают внешнюю и внутреннюю конструктную валидизацию.
При внешней валидизации проверяют, насколько свойства показателя интересующего нас понятия позволяют предсказывать свойства показателя другого понятия, входящего в теорию исследования (рис. 5.2).
Рис. 5.2. Схема внешней конструктной валидизации
На схеме мы проверяем валидность показателя а2, соответствующего понятию А через его сравнение с точно валидным показателем с3, который соответствует понятию С. Причем оба понятия принадлежат одной теории. Пусть понятие А будет снова обозначать образование респондента. А понятие С – стоимость автомобиля респондента. Оба понятия, согласно нашей гипотезе, связаны суждением: чем выше А, тем больше С.
Примем в качестве точно валидного показателя с3 ответы на вопрос: «Сколько раз за последние десять лет вы меняли автомобиль?» Мы рассуждаем следующим образом: чем чаще респондент меняет автомобили, тем, как правило, более дорогим должен быть тот автомобиль, который он сейчас имеет. Потому что обратное маловероятно. Итак, мы принимаем в качестве валидного показатель «количество автомобилей, смененных за последние 10 лет».
Мы распределяем респондентов на группы, нижняя из которых соответствует всего одному купленному автомобилю за 10 лет, а верхняя соответствует смене 4 и больше автомобилей за 10 лет. И если обнаруживается, что при переходе к респондентам, которые больше лет затратили на учебу, растет частота смены автомобилей, то делаем вывод о валидности показателя а2.
Тут снова все упирается в уверенность в валидности показателя с2, через сравнение с которым измеряли валидность а2. Если нет такой уверенности, то вся проверка на валидность показателя а2 теряет смысл. Обычно берут показатели, валидность которых была точно установлена в прежних успешных исследованиях.
При внутренней валидизации проверяют, насколько свойства интересующего нас показателя позволяют предсказывать свойства другого показателя того же самого понятия, входящего в теорию исследования (см. 5.3).
Рис. 5.3. Схема внутренней конструктной валидизации
Здесь мы проверяем валидность показателя а1, под которым будем понимать уровень оконченного учебного заведения (средняя школа, средне специальное учебное заведение, вуз, ученая степень), через сравнение с показателем а3, под которым мы будем понимать количество задач, которые оказался способным решить респондент, например, за полчаса. Оба показателя выражают одно и то же понятие образования – А.
Примем показатель а3 заведомо валидным. Мы исходим из предположения, что если человек способен решать умные задачи, значит он не зря окончил учебное заведение.
Разобьем респондентов на группы, нижняя из которых будет та, в которой решался минимум задач за полчаса, и вплоть до верхней, в которой в отведенное время решались все задачи. И если четко обозначится связь между уровнем оконченного учебного заведения и количеством решенных задач, значит показатель а1 тоже валиден.
При дискриминантной валидизации проверяют, насколько свойства показателя интересующего нас понятия не зависят от свойств показателя близкого, но отличного понятия, не входящего в теорию данного исследования. Показатель признается валидным, если нет отношения ковариации с показателем близкого, но независимого понятия (рис. 5.4).
Рис. 5.4. Схема дискриминантной валидизации
Поясним дискриминатную валидизацию на примере из другой области. Допустим, мы хотим измерить понятие «доверие к политическим деятелям». Будем так в лоб и спрашивать: «Доверяете ли вы российским политическим деятелям?», и предложим стандартный набор ответов: «Да», «Скорее да, чем нет», «Скорее нет, чем да», «Нет». На нашей схеме это будет показатель а2.
В качестве независимого, но близкого изберем понятие «доверие к людям вообще» и предложим вопрос «Доверяете ли вы людям?» с точно таким же набором ответов. Это будет показатель d. И вот если выяснится, что распределение ответов на первый вопрос примерно такое же, что и распределение ответов на второй вопрос, значит, люди не почувствовали различия между формулировками обоих вопросов, и проверяемый показатель а2 невалиден.
Например, процентное соотношение ответов на первый вопрос и второй оказалось почти совпадающим (табл. 5.1).
Это означает, что необходимо изменить формулировку вопроса, или варианты ответов, или то и другое. Например, вопрос можно переформулировать следующим образом: «Верите ли вы, что депутаты Государственной Думы при голосовании учитывают ваши интересы?». Можно оставить те же варианты ответов, и вот теперь респондент, скорее всего, почувствует разницу между вопросами.
Таблица 5.1.
|
Варианты ответов |
Вопрос 1 |
Вопрос 2 |
|
Да Скорее да, чем нет Скорее нет, чем да Нет |
4% 48% 34% 14% |
5% 46% 36% 13% |
Очевидная валидизация. Здесь обоснованность показателя признается на основании его непосредственной, интуитивной достоверности, в которой можно точно не сомневаться.
Допустим, что нас интересует зависимость между субъективным ощущением жары и объемами продажи пива. Очевидно, что анкета с вопросом «Жаркий ли сегодня день?» и ответами «Да», «Нет», «Не знаю» с достаточной точностью измерит ощущение жары людьми, потому что нужно было измерить именно это ощущение. А затем сравним процент людей, ответивших «Да» в разные дни с количеством проданных в эти дни ящиков пива в нескольких магазинах, и тогда мы сможем говорить о наличии или отсутствии зависимости уровня продаж пива от уровня ощущения жары публикой.
Например, можно построить двойной график, показывающий зависимость продажи пива от ощущения жары людьми (рис. 5.5):
Рис. 5.5. График зависимости продажи пива от ощущения жары людьми
И на основании этих исследований мы теперь сможем продать за хорошие деньги совет пивным кампаниям позаботиться о частых поломках кондиционеров в офисах и супермаркетах в жаркие дни.