3.6. Виды надёжности и способы её установления

Так как все виды надежности отражают степень согласованно­сти двух независимо полученных рядов показателей, то математико-статистический прием, с помощью которого устанавливается надежность методики, это корреляции по Пирсону или Спирмену.

Надежность тем выше, чем ближе полученный коэффициент корреляции подходит к единице и наоборот.

К.М. Гуревич, проанализировав зарубежную литературу по этой проблеме, предложил толковать надежность как:

1. «надежность самого измерительного инструмента;

2. стабильность изучаемого признака;

3. константность, т.е. относительную независимость результа­тов от личности экспериментатора» [6,10].

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности, показатель, характеризующий стабильность измеряемого свойства, — коэф­фициентом стабильности, а показатель оценки влияния личности экспериментатора — коэффициентом константности.

Именно в таком порядке рекомендуется осуществлять провер­ку методики: целесообразно сначала проверить инструмент изме­рения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критери­ем константности.

Когда говорят о разных способах определения надежно­сти, то имеют дело не с лучшей или худшей мерой, а с мерами раз­ной по существу надежности. Каждый в отдельности показатель никак не заменит других способов проверки и, следовательно, не может рассматриваться в качестве необходимой и достаточной характеристики надежности. Только методика, располагающая полной характеристикой на­дежности, наиболее пригодна для диагностико-практического применения [5].

3.7. Валидность и способы её установления

Другим после надежности ключевым критерием оценки каче­ства методик является валидность. Вопрос о валидности методик решается лишь после того, как установлена достаточная ее надеж­ность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего вре­мени представляется одним из самых сложных. Наиболее укоре­нившимся определением этого понятия является то, которое при­ведено в книге А.Анастази: «Валидность теста — понятие, указы­вающее нам, что тест измеряет, и насколько хорошо он это делает» [1,с.126]. Валидность, по своей сути, это комплексная харак­теристика, включающая, с одной стороны, сведения о том, при­годна ли методика для измерения того, для чего она была создана, а с другой - какова ее действенность, эффективность, практическая полезность. По этой причине не существует како­го-то единого универсального подхода к определению валидно­сти. В зависимости от того, какую сторону валидности хочет рас­смотреть исследователь, используются разные способы доказа­тельства, т.е. понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидно­сти методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования, это прагматическая валидизация.

Итак, при теоретической валидизации исследователя интере­сует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация. При прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Глав­ный акцент сделан на то, чтобы доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики.

Про­веряется прагматическая валидность так: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т.п.), и с ним сравниваются результаты диагностической методи­ки. Если связь между ними признается удовлетворительной, то де­лается вывод о практической значимости, эффективности, дейст­венности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное пред­ставление о том, что тест измеряет:

1. методика называлась валидной так как, то, что она измеряет, просто «очевидно»;

2. доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет «понять испытуемого»;

3. методика рассматривалась как валидная (т.е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, «очень хорошая».

Принятие на веру голословных утверждений о валидности ме­тодики не могло продолжаться длительное время. Первые прояв­ления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Провести теоретическую валидизацию, в отличие от практической, порой оказывается значительно труднее, нужно доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследова­теля должна измерять. Так, например, если какой-то тест разра­батывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности, напри­мер, личность, характер и т.п. Таким образом, для теоретической валидизации кардинальной проблемой является отношение меж­ду психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты ме­тодики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется ме­тодика с доказанной валидностью. Наличие корреляции между новой и аналогичной уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно ока­зывается более компактным и экономичным в проведении и обра­ботке результатов, то психодиагносты получают возможность ис­пользовать новый инструмент вместо старого.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методика­ми, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию мето­дики тогда, когда такой путь проверки невозможен. Важную роль для понимания того, что методика измеряет, иг­рает сопоставление ее показателей с практическими формами дея­тельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т.е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении мето­дики с взятым из повседневной практики внешним критерием, со­ответствующим тому, что она измеряет, может быть получена ин­формация, подкрепляющая теоретические представления, о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразуме­вает проверку методики с точки зрения ее практической эффек­тивности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказа­но, что измеряемое свойство проявляется в определенных жиз­ненных ситуациях, в определенных видах деятельности. Ей прида­ют большое значение особенно там, где встает вопрос отбора.

Использование диагностических методик с чисто эмпириче­ским обоснованием, без отчетливой теоретической базы, нередко приводило к псевдонаучным выводам, к неоправданным практи­ческим рекомендациям. Нельзя было точно назвать те способно­сти, качества, которые тесты выявляли. Б.М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами» [2,10,12].

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разра­ботке тестов призывали опираться не только на «голую» эмпирику и практику, но и на теоретическую концепцию. Практика без тео­рии, как известно, слепа, а теория без практики мертва. В настоя­щее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.