IV.3.1. Валидность

Валидность, как и другие характеристики соответствия (репрезентативность, надежность), оценивают качество организации и выполнения исследования по соответствию результатов основным научным ценностям. Однако обеспечение репрезентативности и надежности служат лишь предпосылками валидности исследования, а валидность точно указывает на конкретные факторы, снижающие качество исследования.

Валидность, с точки зрения Р.Готтсданкера, - оценка качества данного исследования по отношению к безупречному эксперименту (см. подраздел СООТВЕТСТВИЕ). Такая оценка, как и сами понятия идеального и бесконечного эксперимента и эксперимента полного соответствия, указывает на группы факторов, снижающих степень соотвествия, но конкретные источники угроз. В отношении конкретного исследования валидность понимается как оценка обеспечения всех необходимых форм контроля. Нарушения валидности ведут к недостоверным, артефактным выводам.

Для характеристики валидности исследования сформирована весьма разветвленная система оценок, учитывающая более 30 различных видов валидности (см. обзоры и определения в руководствах [Готтсданкер, 1982; Дружинин, 1997; Клайн, 1994; Корнилова, 1997; Кэмпбелл, 1980; Reber, 1995].

IV.3.1.1. Внутренняя валидность оценивает, действительно ли выводы исследования относятся именно к представленной в гипотезе зависимости, а не какой-либо иной; для истинного эксперимента - это оценка точности интерпретации связи вариаций зависимой и независимой переменных в терминах исследовательской гипотезы. Важно заметить, что внутренняя валидность - оценка соответствия предполагаемых и выявленных зависимостей, а не терминов, в которых высказаны гипотезы и описаны закономерности, что оценивает конструктная валидность (см подразд. КОНСТР.ВАЛ).

Исследование обладает внутренней валидностью, если (а) показано точное соответствие между сформулированными выводами и гипотезой исследования и (б) доказана неприемлемость альтернативных гипотез и интерпретаций. Важно, что нечетко сформулированная гипотеза налагает ограничения на оценку внутренней валидности (см. подразд. ГИПОТЕЗА), а недостаточно широкий анализ альтернативных гипотез и точек зрения снижает ее доказанность (см. гл. ПУБЛИК). Внутренняя валидность одна из наиболее важных оценок исследования. Готтсданкер замечает: “если внутренняя валидность не достигнута, рассматривать внешнюю не имеет смысла” [Готтсданкер, 1982, с. 59].

Основные угрозы внутренней валидности исходят от смешения* влияния независимой переменной с другими переменными (см. [Кэмпбелл, 1980, с. 46]), неэквивалентности сопоставляемых групп, их изменения в ходе исследования, смещения критериев описания объектов (например, увеличение их строгости) в процессе исследования.

В список факторов, угрожающих внутренней валидности включают (см. [Готтсданкер, 1982; Дружинин, 1997; Корнилова, 1997; Кэмпбелл, 1980]):

- влияние событий, сопутствующих экспериментальному воздействию (“эффект фона”);

- изменения в состоянии испытуемых (нарастание дискомфорта, голод, усталость) или в таких харатеристиках, как возраст, уровень знаний и т.п. (“эффекты развития”);

- влияние предварительного тестирования на результаты исследования (“эффект тестирования”);

- нестабильность или иные формы погрешности измерительного инструмента (“инструментальная погрешность”) (см. подразд. НАДЕЖНОСТЬ);

- ошибочные стратегии формирования выборки и/или групп (см. подразд. ВЫБРКА): нарушения при рандомизации, формирование групп попарным уравниванием, по контрасту, неэквивалентность групп, использование естественных групп;

- динамическая, изменяющаяся во времени неэквивалентность групп из-за неравномерного выбывания испытуемых (см. подразд. ВЫБРКА).

Заметим, что обеспечение высокой внутренней валидности требует использования рафинированных условий и затрудняет перенос результатов на иные условия, особенно на естественные. В этом аспекте внутренняя и внешняя, а особенно экологическая валидность находятся в отношении реципрокности, их одновременное достижение весьма сложно (см. подразд. ВН ВАЛ; ЭК ВАЛ).

IV.3.1.2. Внешняя валидность характеризует возможность обобщения (переноса) результатов исследования на другие условия, выборки, популяции. Тот аспект внешней валидности, который характеризует возможность переноса на другие популяции, называют популяционной валидностью. В основе внешней валидности лежат различные виды репрезентативности (см. подразд. РЕПРЕЗ). Основной фактор, обеспечивающий популяционную валидность - приемы формирования выборки и групп (см. подразд. Выборка).

Результаты исследования, обладающего высокой внешней валидностью, сохраняют свое значение в широких пределах вариации всех параметров ситуации, они могут быть воспроизведены в других исследованиях с высокой точностью.

К числу факторов, угрожающих внешней валидности (см. [Готтсданкер, 1982; Дружинин, 1997; Корнилова, 1997; Кэмпбелл, 1980]), относят:

- различные нарушения репрезентативности выборки, например, формирование групп подбором пар, привлечением к исследованию “добровольцев” или “заложников”, выбор испытуемых “по доступности”, отсутствие контроля выбывания испытуемых из исследования (см. подразд. ВЫБОРКА);

- отсутствие контроля взаимодействия тестирования и экспериментального воздействия (такой контроль предусмотрен планом Соломона - см. подразд. ПЛАНЫ, ЭКСПЕРИМЕНТ);

- систематические погрешности измерения (см. подразд. ИЗМЕРЕНИЕ);

- предпочтения и предубеждения исследователя (см. подразд. ВЗАИМОД.ЭКСП.И );

- недостаточный контроль динамики состояния испытуемых, например, утомление, эффекты врабатывания (см. [Александров, Максимова, 1999]);

- изменение уровня развития испытуемых (в длительных исследованиях), (см. подразд. ВЗАИМОД.ЭКСП.И ); постепенное включение испытуемых в ситуацию исследования, полученные результаты не могут быть распространены на условия, в которых испытуемые не были осведомлены о ходе исследования.

Следует упомянуть о таком эффективном способе повышения внешней валидности как совмещение множества методик оценки (измерения) эффектов. Расхождения в различных измерениях указывают на возможные источники угрозы валидности. Множественность измерений увеличивает точность сопоставления результатов данного исследования и его повторений другими исследователями.

IV.3.1.2.1. Экологическая валидность иногда рассматривается как дубликат понятия внешней валидности. Действительно, эти понятия характеризуют возможность обобщения результатов исследования, но экологическая валидность оценивает перенос результатов лабораторного исследования (эксперимента) не на иные лабораторные, искусственные, рафинированные условия, а на условия не лабораторные, реальные, не организованные преднамеренно. Таким образом, экологическая валидность — это оценка применимости результатов лабораторного (экспериментального) исследования к неотобранным специально объектам в нелабораторных условиях. Так, экологически валидный прием оценки креативности должен в лабораторных условиях с высокой точностью и надежностью предсказывать проявления творческих способностей в обыденной жизни.

Можно было бы полагать, что высокая экологическая валидность достижима при помощи исследований, построенных по типу “эксперимента, дублирующего реальный мир” (см. [Готтсданкер, 1982, с. 20-21]), но обеспеченных всеми необходимыми степенями контроля. Между тем внесение жесткого контроля в исследование реальных групп (см. подразд. Выборка) - несовместимы. Наиболее полный контроль возможен в исследованиях, построенных по планам истинного эксперимента, сама суть которого состоит в создании искусственных, модельных условий (см. подразд. ТИПЫ ИССЛЕД). Именно в этом противоречии проявляется основная сложность достижения высокой экологической валидности исследования.

Еще до формирования научной психологии И.-В. Гете при проведении исследований цветового зрения заметил необходимость решения проблемы, которую сейчас мы обозначаем понятием «экологическая валидность»: «Друзья, бойтесь темной камеры, в которой человек, скрючившись, рассматривает неестественные изображения» ( Zahme Xenien).

А.Ньюэлл, анализируя 59 экспериментальных процедур, использованных участниками медународного симпозиума по психологии восприятия (1973 г.), характеризует 57 из них как искусственные, лабораторные ситуации и лишь две - как обладающие элементами экологической валидности - игру в шахматы и рассматривание Луны. [Newell A. You can play 20 questions with nature and win: projective comments on the papers of this symposium. In: Visual information processing. (W.G. Chase, ed.) N-Y, Academic Press, 1973 (цит. по Найссер, 1981].

Списки факторов, угрожающих экологической и внешней валидности, пересекаются. В число наиболее существенных угроз входят:

- несоответствие уровней переменных, примененных в исследовании, пределам реальной вариативности этих переменных;

- осведомленность испытуемых об участии в исследовании и его целях;

- отсутствие контроля побочных переменных характерных именно для лабораторных условий, в частности, для взаимодействия испытуемых и исследователей (см. подразд. ВЗАИМОД ИСП И ЭКСП);

- отсутствие контроля побочных переменных, влиятельных в нелабораторных условиях.

IV.3.1.3. Конструктная валидность характеризует точность (определенность) перевода исходно общепсихологических, или парадигмальных понятий, имеющих, как правило, общетеоретический характер, в понятия, в которых формулируется исследовательская гипотеза, обозначения свойств объекта исследования, экспериментального воздействия, побочных и добавочных переменных, экспериментального эффекта; соответствие между теоретическими конструктами и обозначаемыми ими объектами и явлениями, между положениями теории и их реализацией в конкретном исследовании.

Очевидно, что эта форма валидности зависит от точного следования требованиям парадигмы. Соблюдение конструктной валидности требует формулирования альтернативных интерпретаций того, как причина и следствие соотносятся с теоретическими понятиями. Серьезную угрозу конструктной валидности представляет смешение конструктов, заимствованных из разных парадигм. Признаками угрозы конструктной валидности может служить формулировка исследовательской гипотезы в общетеоретических терминах, а не в терминах переменных, а также отсутствие теоретической интерпретации эмпирических результатов исследования.

ГИПОСТАЗИРОВАНИЕ!!!! Характерно для методик, которые были созданы в рамках уже устарелых концепций. Следует доказывать конструктную валидность таких методик, а также в случае использования методик вне в тех концепциях, в которых они были развиты.

IV.3.1.3. Операциональная валидность конкретного исследования определяется соответствием методических приемов, формирующих переменные (см. подразд. ПЕРЕМ), понятиям иследовательской гипотезы (см. подразд. ГИПОТ), включая процедуры управления независимой переменной [Корнилова, 1997, с. 128].

Операциональная валидность субординирована по отношению к конструктной валидности. Так, общепсихологическое понятие “интеллект” в результате огромного количества теоретических и эмпирических исследований, раскрывается в конкретных понятиях “вербальный”, “невербальный”, “общий”, “текучий”, “кристаллизованный” интеллект и т.д. Точность этого преобразования понятий характеризуется конструктной валидностью. Понятия, производные от общетеоретического понятия “интеллект”, доступны эмпирическому оцениванию, измерению. Для этого разработано множество специальных измерительных инструментов, например, тесты интеллекта Айзенка, Амтхауэра, Кэттелла и мн. др., в результате применения которых формируются переменные, оценивающие определенные характеристики интеллекта. Точность измерения, операционализации понятий в переменных характеризуется операциональной валидностью. В качестве примера см. также процедуры операционализации понятий в работах К.Левина [Левин, 2000] (см. подразд. ФАКТ).

Основные угрозы операциональной валидности:

- неправильный выбор инструментов или процедур измерения;

- недостаточно разработанные или адаптированные методики, инструменты или процедуры формирования переменных.

Серьезную угрозу операциональной валидности могут составить нарушения конструктной валидности.