9. Валидность исследования. Методологические проблемы экспериментальной психологии: проблема интерпретации экспериментальных данных, проблема воспроизведения результатов.

Валидность исследования была определена Куком и Кэмпбеллом в 1979 году как наилучшая из имеющихся аппроксимаций истинных высказываний, включая высказывания, затрагивающие причинно-следственные связи. Данное определение относится к установлению точности выводов исследования и подчеркивает относительный характер истины, который возможно достичь в социальных науках. В любом научном исследовании исследователь должен уметь ответить на следующие вопросы:

1) существует ли зависимость между двумя переменными;

2) носит ли эта зависимость причинный характер;

3) является ли данная зависимость значимой;

4) действительно ли процедуры измерения и наблюдения относятся к исследуемым конструктам;

5) могут ли быть обобщены причинные зависимости, выявленные в ходе исследования.

Выделим следующие типы валидности, относящиеся к этим вопросам.

1. Валидность статистических выводов.

Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными. Действительно, можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.

Существуют некоторые факторы, которые могут снижать валидность статистических выводов:

1) слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;

2) низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;

3) факторы помех, присутствующие в условиях эксперимента;

4) нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.

Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может диагностироваться как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования для оценки его результатов.

2. Внутренняя валидность.

Внутренняя валидность – один из самых важных типов валидности, который действительно касается отношений между зависимыми и независимыми переменными. Эта валидность связана с особыми процедурами, которые позволяют определить, насколько выводы, сделанные в данном исследовании, достоверны. После того, как установлено существование зависимости между переменной Х и переменной У, необходимо решить, какая из переменных является причиной, а какая – следствием, то есть установить направление данной взаимосвязи. Если У наблюдается после Х, то можно сказать, что Х является причиной У.

Однако может оказаться, что отношение зависимости между Х и У вызвано третьей переменной С. Для установления внутренней валидности необходимо рассмотреть все возможные влияния третьей переменной С на переменные Х и У и исключить их. Считается, что исследование обладает внутренней валидностью, если доказано, что существует зависимость причинно-следственного типа между зависимыми и независимыми переменными.

Причины снижения внутренней валидности исследования:

1) смешение переменных. Это одна из наибольших опасностей для валидности эксперимента. Если в ходе эксперимента какой-либо случайный фактор (неэкспериментальная переменная) взаимодействует с зависимой переменной и это взаимодействие не может быть измерено отдельно от взаимодействия зависимой и независимой переменных, то влияние случайной и независимой переменной неразличимо. Проблема смешения переменных является особенно острой в тех исследованиях, где экспериментатор не может контролировать независимую переменную;

2) изменения, связанные с испытуемыми. При проверке зависимых переменных изменения, произошедшие между двумя моментами наблюдения, могут быть вызваны не независимыми переменными, а изменениями, произошедшими с самими испытуемыми (например, с событиями личной жизни, изменением тех или иных свойств личности и т.д.), т.е. факторами «зрелости (естественного развития)» и «истории (фона)». Под «зрелостью» понимаются изменения, которые произошли с испытуемым между моментом пред-теста и моментом пост-теста и которые не были связаны с влиянием независимых переменных. Например, в экспериментах по моторной координации у испытуемых может наблюдаться ее улучшение за счет тренировок в период между экспериментами. Данное влияние нельзя смешивать с влиянием независимой переменной. Под фактором «истории» подразумеваются события, которые произошли с испытуемыми и которые повлияли на результаты эксперимента;

3) влияние пред-теста (фактор тестирования). Пред-тест вызывает изменения испытуемых, и, следовательно, результаты эксперимента в некоторых случаях могут, в основном, зависеть от пред-теста, а не от зависимой переменной;

4) фактор погрешности измерения связан с неточностью или изменениями в процедуре или методе измерения экспериментального эффекта, а также с изменением навыков исследователя. Например, исследователь, спустя некоторое время, может стать более опытным в наблюдениях, и, следовательно, по-другому интерпретировать поведение испытуемых. Кроме того, на исследователя могут влиять такие факторы, как усталость, что может привести к ошибкам в экспериментах;

5) регрессия к среднему (фактор статистической регрессии). Это явление наблюдается тогда, когда индивиды подвергаются повторным испытаниям относительно одной и той же переменной. Установлено, что если испытуемые получили в первом испытании результаты, по величине близкие к высшим показателям шкалы, то при повторном эксперименте их результаты снижаются и становятся ближе к средним показателям, в то время как испытуемые, которые получили в первом испытании результаты, близкие к низшим, при повторном измерении достигают лучших показателей. Регрессия к среднему также наблюдается в случае ошибок, связанных с изменением переменной;

6) отсев. Известно, что в ходе исследования некоторые испытуемые покидают группу. Оставшиеся испытуемые, естественно, отличаются от выбывших. Предположим, что исследуются два метода модификации поведения для контроля за массой тела. Группе 1 предписана диета. Кроме того, испытуемые первой группы должны ежедневно записывать в дневник все, что они едят, точно взвешивать все блюда и подсчитывать калорийность пищи. Группе 2 была просто предписана диета. Очевидно, что некоторые испытуемые группы с более обременительным заданием выйдут из эксперимента. В конце эксперимента процент испытуемых с высокой мотивацией в этой группе будет больше. У испытуемых с более высокой мотивацией больше вероятность похудения. Поэтому исследователь может прийти к ошибочному выводу о том, что условия в первой группе более эффективны для похудения.

7) фактор неслучайного отбора встречается в тех случаях, когда при формировании выборки отбор участников проводился неслучайным образом.

Экспериментатор должен учитывать и, по возможности, ограничивать влияние факторов, угрожающих внутренней валидности эксперимента.