Лекция 9 . Процедурные и методические вопросы тестирования

Учебные вопросы:

1. Психодиагностическое обследование и его этапы.

2. Область применения теста. Условия тестирования. Выбор методик.

3. Тестовые задачи закрытого и открытого типа, правила их формулирования.

3. Способы повышения валидности теста-опросника.

4. Психометрическая оценка тестовых заданий.

Психометрика имеет дело с индивидуальными различиями между людьми в качественном и количественном составе психических свойств, каковыми являются способности, отдельные когнитивные функции (память, внимание), мотивы, поведенческие черты, установ­ки, оценки и самооценки, способы психического самосохранения (пси­хической защиты) и т. п.

По отношению к психодиагностике и дифференциальной психо­логии психометрика выступает в статусе технолого-методической дисциплины: она обосновывает требования, которым должны удов­летворять измерительные психодиагностические методы, обосновы­вает процедуры их разработки и применения.

Основываясь на введенном выше основании классификации, со­временные методы психодиагностики условно можно разделить на две категории: 1) стандартизованные, измерительные методы (будем называть их в дальнейшем «тесты»), 2) экспертные методы, или ме­тоды понимания (по традиции, они часто фигурируют под названием «клинические методы»). К первым относятся объективные тесты и стандартизованный самоотчет, ко вторым - проективные и диалоговые методы. В основе первой категории методов лежит соблюдение достаточно строгих и сформулированных в явной форме правил. Эти методы обеспечивают диагноз (и на его основе прогноз) лишь с веро­ятностной точностью, этот диагноз оказывается более надежным по отношению к группе испытуемых, чем по отношению к отдельному испытуемому.

Экспертные методы в большей степени рассчитаны на професси­ональный опыт, психологическую интуицию самого психодиагноста. Эти методы оказываются незаменимыми везде, где не разработаны (или неизвестны) стандартизованные процедуры. Они часто оказы­ваются более эффективными по отношению к психическим явлени­ям, плохо поддающимся объективации (субъективные переживания личностные смыслы, глубинные слои опыта), по отношению к чрез­вычайно изменчивым явлениям, для которых трудно создать фикси­рованную операциональную модель (динамика целей, состояний, на­строений, многоплановых отношений в группе). Если их применяет эксперт высокой квалификации, они оказываются более надёжным средством в случае индивидуальной диагностики. Кроме того, не сле­дует забывать, что глубокий экспертный анализ - необходимый пер­вичный этап в разработке всякой стандартизованной процедуры. По мере стандартизации экспертные методы также подлежат количествен­ному обоснованию.

Достоинства измерительных методов: объективный характер про­цедуры, возможность перепроверки - обеспечиваются не автомати­чески, а благодаря выполнению психометрических требований -тре­бований репрезентативности, надежности, валидности (включая дос­товерность). Краткие определения: репрезентативность -соответствие тестовых норм выборки стандартизации тестовым нормам той попу­ляции, на которой применяется тест; надежность - точность и устой­чивость процедуры измерения, ее независимость от варьирующих случайных факторов; валидность - соответствие методики измеряе­мому концепту. Если эти требования не выполнены, то использова­ние тестов - ничуть не менее произвольная процедура, чем стихий­ное «вчувствование» эксперта в испытуемого. Более того, в этом слу­чае результат оказывается в нелепой зависимости от комплекса слу­чайных и побочных обстоятельств; психодиагност в своем отношении к тесту уподобляется фаталисту, склонному уповать на жребий и выразившееся в нем «провидение» (при отсутствии каких-либо разум­ных доводов в пользу того или иного решения). Опасны не тесты сами по себе, а их использование без теории и без психометрики, когда стандартная процедура выполняет фактически лишь роль глухого за­бора, отгораживающего психодиагноста от реального испытуемого. В этом случае тест служит источником иллюзорного впечатления о возможности освобождения психолога от необходимости наблюдения за весьма информативными признаками поведения испытуемого, его манерами, способами работы над заданиями и т. п.

Знание психометрики дает психологу необходимую критичность в понимании ограниченности методик, в понимании тех допущений, которые сделаны при разработке той или иной оценочной шкалы, те­ста, опросника, системы задач и т. п.

Специфика психодиагностических процедур, по сравнению с обычными физическими измерениями, заключается в том, что здесь сама процедура измерения взаимодействует с «объектом» измерения, более того, рождается в этом взаимодействии, зависит от его характе­ристик и «портится», если эти характеристики меняются. В физичес­ких измерениях объект в значительных пределах пассивен и не влия­ет со своей стороны на физический прибор. Человек, напротив, все­гда активен и может применять такую тактику, которую психодиаг­ност при разработке методики вовсе не предусматривал. Диапазон «срабатывания» теста довольно узок и фактически сводится к той популяции, на которой происходила эмпирико-статистическая разра­ботка теста, обеспечивающая его надежность, валидность, репрезен­тативность тестовых норм. Узость этого диапазона можно сравнить со свойствами пружинного динамометра из мягкого металла: доста­точно тяжелый груз, выходящий по весу за допустимые пределы, по­рождает в пружине необратимые деформации и нарушает изометричность шкалы.

Для корректного применения- теста на новой популяции или в но­вых целях (от целей зависит установка испытуемых в ситуации тести­рования) психолог должен провести серию предварительных психо­метрических экспериментов, направленных на перепроверку надеж­ности, валидности и репрезентативности теста в новых условиях. Пе­ренесение теста с одной популяции на другую без проверки как минимум однородности распределения тестовых баллов (устойчивости тестовых норм) может приводить к серьезным диагностическим ошибкам или к непроизводительным затратам на бесполезную пси­ходиагностику. К серьезным ошибкам может привести попытка про­гноза по результатам теста, не проверенного на прогностическую ва­лидность, - в этом случае психолог должен ограничиться лишь теку­щим диагнозом.

Строгое следование требованиям психометрики особенно необ­ходимо при переносе тестов, разработанных за рубежом. В условиях недостаточной разработки отечественных методик многие психологи склонны рассматривать в качестве готовых зарубежные методики, тогда как реальные языковые и социокультурные различия бывают столь сильными, что полная эмпирическая адаптация зарубежной ме­тодики по своему объему не уступает разработке оригинальной мето­дики. Это прежде всего относится к шкалам ценностных ориентации, к характерологическим опросникам и другим личностным тестам. В данной книге читатели познакомятся с процедурами, позволяющими проверить эмпирическую корректность тестовых диагностических шкал. Для того чтобы убедиться в пригодности того или иного зару­бежного теста, психолог должен уметь повторить процедуру, с помо­щью которой конструировался и обосновывался этот тест его автора­ми. Если при конструировании многомерного теста использовался факторный анализ, то нельзя считать адаптированным тест, прошед­ший проверку только на устойчивость тестовых норм; нужно обяза­тельно перепроверить устойчивость самих тестовых шкал (т. е. по­вторить факторный анализ).

Измерительные методы (тесты) должны удовлетворять сле­дующим требованиям:

а) должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт (концепт), должен быть сформулирован в теоретических понятиях и соотнесен на теоретическом уровне с системой релевантных концеп­тов. Должна быть четко выделена область применения, под которой подразумевается особая социальная среда или сфера общественной практики (производство, медицина, семейная жизнь и т. п.), контин­гент испытуемых (пол, возраст, образование, профессиональный опыт, должностное положение). Должны быть конкретизированы цели ис­пользования результатов: для прогноза успешности профессиональ­ной деятельности, для психологического вмешательства, для приня­тия правовых, административных решений, для прогноза стабильно­сти коллектива и т. п.;

б) процедура проведения должна быть задана в виде однозначно­го алгоритма, пригодного для передачи лаборанту, не имеющему спе­циальных психологических знаний, или ввода в компьютер, исполь­зуемый для предъявления заданий и анализа ответов;

в) процедура обработки должна использовать статистически обо­снованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестовым нормам). Выводы (ди­агностические суждения) на основе тестового балла должны сопро­вождаться указанием на вероятностный уровень статистической дос­товерности этих выводов;

г) тестовые шкалы должны быть проверены на репрезентатив­ность, надежность и валидность в заданной области применения. Другие разработчики и квалифицированные пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы);

д) процедуры, основанные на самоотчете, должны быть снабже­ны средствами контроля за достоверностью, позволяющими автома­тически отсеивать недостоверные протоколы;

е) головная методическая организация определенного ведомства (области применения) должна вести банк данных, собранных по тесту, и производить периодическую коррекцию всех стандартов методики.