10 Валидность психологической методики.

Валидность - это одно из основных психометрических свойств методики, обозначающее ее обоснованность и указывающее на степень соответствия получаемой информации диагностируемому психическому свойству. В широком смысле валидность включает сведения о поведении и психических явлениях, которые находятся в причинной зависимости от диагностируемого свойства. В психологической диагностике валидность - обязательная и наиболее важная часть информации о методике, включающая (наряду с указанными выше) данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик, достоверность которых установлена и т.д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами.Валидность описывает также конкретную направленность методики (для чего предназначена), область применения теста характеристика методики, указывающая на особенности контингента испытуемых, для которых предназначен.

Область применения теста.

Область применения теста – характеристика методики, указывающая на особенности контингента испытуемых, для которых предназначен тест: возраст, уровень образования, социально-культурная принадлежность и т.д., а также степень обоснованности выводов в конкретных условиях использования теста.

Измерение валидности теста.

Валидность методики измеряется либо коэффициентом корреляции между результатами обследования и объективными критериями внешнего проявления того или иного качества, либо характеризуется различными показателями в полярных группах по какому-то измеряемому свойству.

При проверке валидности тестов следует исходить из того, что совершенно необходимо устанавливать ее по крайней мере на двух группах, так как корреляция теста и внешнего критерия может быть обусловлена специфичными для данной выборки факторами (выборочными изменениями) и не иметь общего значения. Проведение нескольких исследований с последующим анализом и обобщением данных является не только предпочтительным, но и необходимым.

Виды валидности.

Различные категории сведений о тесте и способы их получения образуют типы валидности:

1. Очевидная (внешняя) валидность - представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Тест является валидным, если о нем складывается впечатление, что он измеряет именно то, что подразумевается, особенно с точки зрения испытуемых. Этот вид валидности никакого отношения не имеет к истинной валидности и важен постольку, поскольку помогает иногда установить сотрудничество с испытуемыми, считающих своим правом отказаться от обследования по причине, если предлагаемая им методика не обладает внешними признаками валидности.

2. Конкурентная валидность - характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике. Оценивается по корреляции результатов данного теста с результатами других тестов, предназначенных для измерения той же самой переменной. Если уже имеются эффективные тесты для измерения определенного свойства, то связь с ними должна быть высока, и наоборот, с тестами, измеряющими совершенно другие свойства оцениваемый тест не должен иметь никакой корреляции.

3. Прогностическая валидность - информация о тесте, характеризующая степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определенное время после измерения: чем выше тест может прогнозировать критерий, тем выше его прогностическая валидность. Компонентами прогностической валидности являются:- валидность инкрементная (практическая ценность методики при проведении отбора);

- дифференциальная (способность методики'дифференцировать испытуемых по отдельным областям проявления исследуемых свойств).

4. Содержательная валидность - один из основных типов валидности, характеризующий степень репрезентативности содержания теста по отношению к измеряемой области. Если можно показать, что задания теста отражают все аспекты исследуемой области поведения, то тест является, по существу, валидным.

5. Конструктная валидность - характеристика теста, отражающая степень репрезентации исследуемого психологического свойства (конструкта) в результатах теста: чем больше результаты теста соответствуют теоретической гипотезе о природе измеряемой переменной, тем выше конструктная валидность теста. Статистический анализ структуры связей показателей исследуемого теста с другими известными и латентными факторами позволяет осуществить факторный анализ. Он также позволяет выявить факторный состав и факторные нагрузки теста, представленные в его результатах. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность.

Очевидная валидность.

ВАЛИДНОСТЬ ВНЕШНЯЯ (очевидная)— применительно методик психодиагностических означает соответствие результатов психодиагностики, проводимой посредством данной методики, независимым от методики внешним признакам, относимым к субъекту обследования. Означает примерно то же самое, что валидность эмпирическая, — с тою разницей, что здесь речь идет о связи между показателями методики и самыми важными, ключевыми внешними признаками, относимыми к поведению испытуемого. Методика психодиагностическая считается внешне валидной, если, например, ее посредством оцениваются черты характера индивида и его внешне наблюдаемое поведение согласуется с результатами проведенного тестирования.

Конструктная и содержательная валидность.

Конструктная валидность – характеристика теста, отражающая степень репрезентации исследуемого психологического свойства (конструкта) в результатах теста: чем больше результаты теста соответствуют теоретической гипотезе о природе измеряемой переменной, тем выше конструктная валидность теста. Чтобы продемонстрировать конструктную валидность, необходимо настолько полно, насколько возможно, описать переменную (конструкт) для измерения которой предназначен тест. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания и т.д. Иначе говоря, конструктная валидность определяет область теоретической структуры психологических явлений, измеряемых тестом. Статистический анализ структуры связей показателей исследуемого теста с другими известными и латентными факторами позволяет осуществить факторный анализ. Он также позволяет выявить факторный состав и факторные нагрузки теста, представленные в его результатах. Особый вид конструктной валидности – факторную валидность.

Содержательная валидность – один из основных типов валидности, характеризующий степень репрезентативности содержания заданий теста по отношению к измеряемой области.

Пункты-задания теста из области заданий.

Для обеспечения конструктной (характеристика теста, отражающая степень репрезентации исследуемого психологического свойства (конструкта) в результатах теста) и содержательной (один из основных типов валидности, характеризующий степень репрезентативности содержания заданий теста по отношению к измеряемой области) валидности прежде всего должны быть правильно отобраны все пункты-задания теста из области заданий. Область заданий - это множество заданий, материал, подбираемый исследователем и являющийся исходным для формирования теста. В этом плане, чем точнее и полнее выражают эти пункты реальное качество (свойство, конструкт), тем больше вероятность приближения результатов теста к истинному показателю, который может быть определен как показатель, который бы получил конкретный испытуемый, если бы ему были предъявлены все возможные задания из генеральной совокупности заданий, релевантных реальному оцениваемому свойству.

Факторная валидность.

Статистический анализ структуры связей показателей исследуемого теста с другими известными и латентными факторами позволяет осуществить факторный анализ. Он также позволяет выявить факторный состав и факторные нагрузки теста, представленные в его результатах. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность.

Критериальная валидность.

Критериальная валидность – комплекс характеристик, включающий валидность диагностическую (конкурентную, текущую – характеристику теста, отражающую его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике) и прогностическую (информацию о тесте, характеризующую степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определенное время после измерения) и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. Чтобы продемонстрировать конструктную валидность, необходимо настолько полно, насколько это возможно, описать переменную (конструкт), для измерения которой предназначен этот тест.

Диагностическая валидность (конкурентная, текущая).

Диагностическая валидность (конкурентная, текущая) – характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике.

Прогностическая валидность и ее компоненты.

Прогностическая валидность – информация о тесте, характеризующая степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определенное время после измерения. Чем выше тест может прогнозировать критерий, тем выше его прогностическая валидность. Прогностическая валидность (иногда употребляется термин “предсказательная валидность”) отражает временной интервал, на который распространяется обоснование суждения об изменении диагностируемого свойства. Компонентами прогностической валидности являются валидность инкрементная (практическая ценность методики при проведении отбора) и дифференциальная (способность методики дифференцировать испытуемых по отдельным областям проявления исследуемых свойств; в общем, для демонстрации дифференциальной валидности предполагается различие корреляций с различными аспектами данного критерия).

Истинный показатель и генеральная совокупность заданий теста.

Истинный показатель может быть определен как показатель, который бы получил конкретный испытуемый, если бы ему были предъявлены все возможные задания из генеральной совокупности заданий, релевантных реальному оцениваемому свойству.Генеральная совокупность - это гипотетическое множество элементов, объединенных общей характеристикой - всех возможных заданий для выявления измеряемой черты или свойства (а также всего контингента испытуемых). Генеральная совокупность заданий как бы исчерпывает' все возможные аспекты того свойства, которое подлежит оценке. При этом чем выше коэффициент корреляции определенного задания из теста с другими заданиями (в своей совокупности представляющих истинный показатель), тем выше вероятность и обоснованность включения именно этого задания в тест и тем меньше вероятная величина погрешности измерения. Противоположное понятие — выборка.

Выборочная совокупность.

Одна из задач психолога при проведении исследования – это выбор объекта исследования, которым может быть отдельный индивид или группа. Т.к. простое обобщение данных, полученных при исследовании одного испытуемого, невозможно, то чаще исследование проводится с экспериментальной группой, в которой все испытуемые представляют определенную популяцию (часть генеральной совокупности) и объективно различны, но отобраны и рас­пределены по подгруппам с помощью определённой стратегии. Эта группа испытуемых является выборочной совокупностью, или выборкой. Стратегии, с помощью которых формируется выборка, бывают следующие: рандо­мизация (метод случайного выбора, при котором подбираются эквивалентные группы и эквива­лентные испытуемые); (экспериментальная и контрольная группы составляются из индивидов эквивалентных по значимым для эксперимента побочным параметрам (идеальным вариантом считается использование близнецовых пар)); реп­резентативное моделирование (группа испытуемых, характеристики которой соответствуют характеристикам интересующей исследователя популяции); приближённое моделирование (используется, когда невозможно найти способ создания репрезентативной груп­пы); привлечение реальных групп (порождает систематическое сме­шение независимой переменной с индивидуальными свойствами ис­пытуемых); стратаметрический отбор (рандомизация с выделением страт - сово­купности групп, обладающих определенными характеристиками). Формирование выборки испытуемых должно отвечать критерию операциональной валидности (подбор экспериментальной группы должен определяться предметом и гипотезой исследования), критерию внутрен­ней валидности (результаты исследований экспериментальной выборки должны распространяться на каждого ее члена), критерий внешней валиднос­ти (группа лиц, уча­ствующих в эксперименте, должна представлять всю часть популяции, по отношению к которой можно применять полученные в эксперименте данные). Привлечение испытуемых в группу осуществляется при помощи отбора (проводится при рандомиза­ции, стратаметрическм отборе, репрезентативном и приближенном моделировании) и распределения (проводится при привлечении реальных групп и попарном отборе). В зависимости от целей исследования варьируется численность выборки (от од­ного испытуемого до нескольких тысяч), воз­растной и половой состав.

Процедуры определения содержательной, конструктной и других видов валидности.

Конкурентная валидность. Для эффективного изучения конкурентной валидности существует несколько правил:

- убедитесь, что выборка испытуемых отражает ту категорию лиц (популяцию), для которой данный тест предназначен;

- убедитесь, что выборки достаточно велики для получения статистически значимых корреляций, которые могут быть затем использованы в факторном анализе (минимальное количество испытуемых - 200 человек);- используйте настолько широкое разнообразие других тестов данной переменной, насколько это возможно - чтобы убедиться, что корреляция получена благодаря близости групповых факторов, а не специфических;

- если используется факторный анализ, убедитесь, что получена простая структура;

- при обсуждении результатов четко объясняйте, какие корреляции и нагрузки факторов можно ожидать (что позволяет судить о психологическом значении результатов).Прогностическая валидность. Заключение об этом типе валидности может быть получено, например, путем сравнения корреляции тестовых оценок в одной и той же группе испытуемых спустя определенное время с некоторым критерием, характеризующим измеряемое свойство (например, корреляция показателей интеллекта одних и тех же испытуемых в 11 и 16 лет с успеваемостью). Основной проблемой здесь является выделение критерия предсказания (по отношению к которому произодится оценка корреляции тестовых оценок).

Дифференциальную валидность. В общем для демонстрации дифференциальной валидности предполагается различие корреляций с различными аспектами данного критерия.Содержательная валидность. Практическими процедурами для определения содержательной валидности являются следующие:а) для тестов достижений:

- укажите точно категорию лиц, для которых этот тест предназначен; определите навыки, подлежащие тестированию;- передайте этот список экспертам в данной области (учителям и т.п.) для проверки, нет ли упущений:

- преобразуйте этот список в перечень заданий, используя, когда это возможно, равное количество заданий на каждый навык:- представьте эти задания экспертам для проверки:

б) для других тестов:- если существует литература с описаниями, просмотрите ее и преобразуйте описания, в особенности поведения;- для каждой упомянутой особенности поведения сформулируйте ряд заданий;

- когда литература с описаниями отсутствует, получите описания поведения от грамотных специалистов: например, для изучения зависимости инфантильных пациентов опросите их лечащих врачей и медицинских сестер с целью получить описание зависимого поведения их пациентов:

- преобразовать полученные описания в задания (вопросы, утверждения) для испытуемых:- подвергните задания теста обычным процедурам конструирования.Конструктная валидность. Процедуры определения конструктной валидности:- перечислите точно гипотезы, касающиеся переменных, с которыми данный тест должен коррелировать (конкурентная валидность):- перечислите точно гипотезы, касающиеся переменных, с которыми данный тест не должен коррелировать:- укажите группы, которые должны давать низкие и высокие показатели по данному тесту:- сформулируйте гипотезу о месте данного теста в факторном пространстве.Для обеспечения конструктной и содержательной валидности прежде всего должны быть правильно отобраны все пункты-задания теста из области заданий.При проверке валидности тестов следует исходить из того, что совершенно необходимо устанавливать ее по крайней мере на двух группах, так как корреляция теста и внешнего критерия может быть обусловлена специфичными для данной выборки факторами (выборочными изменениями) и не иметь общего значения. Проведение нескольких исследований с последующим анализом и обобщением данных является не только предпочтительным, но и необходимым.