- •Классификация средств психологической диагностики
- •Методы психодиагностики индивидуально-психологических особенностей
- •Общие критерии классификации психодиагностических методик. Понятие о научных и практических методиках
- •Достоинства метода тестов
- •Недостатки метода тестов
- •Теория системной психологической диагностики Принципы системного подхода и их роль в системной психологической диагностике
- •1.1.2. Принцип моделируемости
- •1.1.5. Принцип управляемости.
- •1.1.3. Принцип целенаправленности.
- •1.1.4. Принцип целеобусловленности.
- •1.1.6. Принцип относительности.
- •Компоненты системного подхода и их использование в системной диагностике человека
- •Психологическая структура личности и закономерности ее системной организации
- •Уровни иерархической структуры свойств человека.
- •Закономерности системной организации структуры свойств человека и психологической структуры личности
- •Спецификация будущего теста
- •Комплексный психологический портрет личности. Цели и принципы построения. Уровни и компоненты психологического портрета личности. Принципы составления психологического портрета личности
- •Психология личности. Психологический портрет
- •Профессионально-этические принципы в психодиагностике. Этические стандарты психологов
- •Психологическое заключение и психологический диагноз
Спецификация будущего теста
Манифестации |
Содержательные области |
|||
А (25%) |
А (40%) |
В (40%) |
С (10%) |
D (10%) |
В (25%) |
|
|
|
|
С (25%) |
|
|
|
|
D (25%) |
|
|
|
|
Кол-во заданий |
|
|
|
|
Определение количества заданий (вопросов), которое должно быть создано для каждой из ячеек. При этом следует учесть, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. Каждой манифестации и каждой содержательной области приписывается %-ный вес. Расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. При решении вопроса о конечном количестве заданий в тесте необходимо учитывать как размер решетки, так и время, предполагаемое для выполнения заданий. В определении количества заданий возникает дилемма: 1) обеспечение надежности теста (требует увеличения заданий); 2) минимизация количества заданий для обеспечения эффективной работы испытуемого (поддержание концентрации внимания в ходе обследования). Для достижения удовлетворительной надежности опросника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. В пилотажном исследовании количество заданий предварительного варианта теста должно быть по крайней мере на 50% больше числа тех, которые будут включены в окончательную версию.
4. Разработка заданий. В каждом задании может быть задан только один вопрос или сформулировано одно утверждение. Нельзя допускать появления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей», «как и другие» и т.п. Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто. Необходимо: 1) избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов; 2) стремиться, чтобы обследуемые не могли догадаться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на выраженность у себя этой черты, а не реальное положение дел. Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Следует избегать употребления таких слов, как «часто», «редко» и т.п. То, что одним испытуемым интерпретируется как «часто», для другого совсем не так. Следует избегать терминов, выражающих чувства, лучше представить задание в контексте поведения.
Важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.
После разработки всех заданий к ним следует вернуться через некоторое время и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого рекомендуется привлечь хотя бы двух-трех экспертов.
В личностных опросниках, как правило, используют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Задания с альтернативным выбором (дихотомические) просты для понимания, легки и удобны для обработки, требуют наименьшего времени для ответа. Недостато – обследуемые часто не удовлетворены предлагаемой альтернативой, хотели бы видеть больше вариантов ответа. Задания трихотомические (три варианта ответа, например «да», «не знаю», «нет») также распространены. Преимуществом – обследуемые могут более точно выразить себя, нежели в случае альтернативы. Недостаток – могут актуализироваться установки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю», «иногда» и т.п. В рейтинговых шкалах не рекомендуется использование более семи вариантов ответа. Важно обеспечить достаточное количество градаций ответа, чтобы обследуемые были в состояний адекватно выразить самих себя. В разрабатываемом опроснике желательно использовать только один тип заданий.
Установки, которым подвержены испытуемые в процессе ответов: 1) установка на согласие; 2) установка на социально одобряемый ответ; 3) установка на неопределенные ответы (так называемые ответы средней категории).
5. Оформление теста. От оформления, формы представления методики (очевидная, или лицевая валидность методики) зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен: 1) блок основной информации (название и вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных; обязательно указывается дата заполнения опросника); 2) инструкция должна быть ясной, доступной для понимания; в ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике; 3) текст опросника (рекомендации для компоновки текста опросника: нумеруется каждое задание; каждая строка на странице должна быть короткой и содержать не более 10-12 слов; все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы; варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы; необходимо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него; каждое задание нужно отделить друг от друга, лучше это сделать, используя свободное пространство, а не горизонтальную линию; если используется более чем один тип заданий, одинаковые задания группируются вместе, каждый тип заданий требует разных инструкций и своих вариантов ответов: опросник печатается так, чтобы он имел эстетически привлекательный вид).
Дизайн опросника может способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий). Результаты обследования (разные формы их представления) обычно не принято включать в опросник, хотя в некоторых случаях допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняемого психологом.
6. Пилотажное исследование предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника. Пилотажную версию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного исследования, должно быть в два раза больше, чем количество заданий. Если невозможно получить такое количество испытуемых, лучше все-таки привлечь к исследованию меньшее количество людей, чем вообще отказаться от проведения пилотажной стадии исследования.
7. Анализ заданий. Цель – отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с ключом) и дискриминантности каждого задания. Первый шаг – составляется таблица анализа заданий (каждая колонка представляет задание, каждая строка – обследуемого). В личностных опросниках в таблицу вписывается соответствующий балл по каждому заданию, при этом обратные задания (с противоположным содержанием) оцениваются так же, как и прямые задания, но в противоположном направлении континуума оценок. Затем суммируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).
Следующий шаг – вычисление показателя, определяющего долю испытуемых, ответивших в соответствии с «ключом» опросника или индекса эффективности задания. Подсчитывается делением количества обследуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Индекс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов.
Образец матрицы для анализа заданий
Обследуемый |
Задания |
Сумма |
||||
a |
b |
с |
d |
е |
||
1. 2. 3. 4. 5. |
1 0 1 1 0 |
1 1 0 0 0 |
0 0 0 0 0 |
1 0 1 0 1 |
1 1 1 1 1 |
4 2 3 2 2 |
Сумма |
3 |
2 |
0 |
3 |
5 |
13 |
Задания (вопросы, утверждения) только тогда следует включать в окончательную версию опросника, когда они измеряют те же самые личностные особенности, что и другие, предназначенные для этого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как правило, требуется минимальная корреляция в 0,2. Задания с отрицательной или нулевой корреляцией почти всегда исключаются.
При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффективности и дискриминантности нужно определить то количество заданий, которое потребуется для окончательной версии (не менее 20-30 заданий!) и насколько хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показателем эффективности при условии, что оно обладает достаточной дискриминантностью. Также важно обеспечить приблизительно равное количество прямых и обратных заданий. Для испытуемых разных полов необходимо выполнить отдельные процедуры анализа заданий.
8. Определение надежности теста. Надёжность – относительное постоянство и устойчивость результатов измерения при первичном и повторном его применении на одних и тех же испытуемых. Понятие надежности связано с понятием точности измерения. Если многократное измерение каждый раз дает абсолютно разное значение измеряемого показателя, значит, измерительная процедура не является надежной. Повторное применение надежного инструментария должно давать сходные результаты. Некоторые расхождения допустимы, но важно чтобы, они были незначительными. Надежность – критерий, который говорит о точности психологических измерений, т.е. насколько внушают доверие полученные результаты.
В тесте проверяется: 1) надежность самого измерительного инструмента (метод расщепления); 2) стабильность измеряемого признака; 3) константность, т.е. относительная независимость результатов от незначительных изменений в условиях проведения обследования (метод ретеста).
Метод расщепления. Обычно задания теста делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Если измерительный инструмент однороден, то большой разницы в успешности решения по таким половинкам не будет, следовательно, коэффициент корреляции будет достаточно высоким (не ниже r = +0,75).
Метод ретеста – повторное измерение интересующего качества на одной и той же выборке с использованием одной и той же измерительной процедуры при сохранении одних и тех же условий, но через определенный временной интервал. О стабильности измеряемого признака судят по коэффициенту корреляции между показателями первого и второго замера. Коэффициент корреляции должен быть не ниже r = +0,70. Очень многое в данном методе зависит от временного интервала. Если он небольшой, то испытуемый, уже знакомый с процедурой измерения, будет помнить результат и ориентироваться на него (либо подгонять под первоначальный, либо стремиться продемонстрировать «новый» результат). Это нежелательно, идет искажение надежности. Если времени слишком много, испытуемые забудут прежний результат, но и в самих измеряемых качествах могут произойти значительные изменения, т.е. ретест будет замерять уже новое качество, а не воспроизводить старый результат. Оптимальным считается временной интервал в 2 – 3 недели.
Метод параллельного измерения. Применяется для проверки константности методики. Коррелируются результаты двух экспериментов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции должен быть не ниже r = +0,80.
9. Определение валидность теста. Валидность – характеристики способности измерительной процедуры измерять действительно то, для чего эта процедура используется. Тест называется валидным, если он измеряет то, для измерения чего предназначен. Проверка измерительной процедуры на валидность называется валидизацией.
Очевидная валидность – описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то мере трепет медицинским диагностическим инструментарием. Очевидная валидность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикациями в популярных газетах и журналах того, что можно назвать квазитестами, с помощью которых читателю предлагается определить все, что угодно: от интеллекта до совместимости с будущим супругом.
Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена.
Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. По Л. Кронбаху, прогностическая валидность – наиболее убедительное доказательство того, что тест измеряет именно то, для чего он был предназначен. Основная проблема – выбор внешнего критерия (это особенно затруднительно при разработке личностных тестов).
Инкрементная валидность имеет ограниченное значение и относится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи.
Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успеваемостью, но по-разному для разных дисциплин. Ее значение так же ограничено.
Содержательная валидность – подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений. На практике для ее определения подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты.
Конструктная валидность демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, она включает в себя все подходы к определению валидности, которые были перечислены выше. Решение вопроса о конструктной валидности – поиск ответа на два вопроса: 1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству.
Не существует какого-либо единичного показателя, с помощью которого устанавливается валидность психологического теста. В отличие от надежности и дискриминативности, нельзя осуществить точные статистические расчеты, подтверждающие валидность методики. Однако разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.
10. Определение объективности теста. Согласно Кеттэллу, измерительная процедура считается объективной, если ее цель скрыта от испытуемого (что не позволяет ему фальсифицировать результаты измерения) и данные, полученные с ее помощью, могут быть оценены независимо от лица, проводящего измерение и интерпретацию. Добиться независимости измерения психологических качеств и свойств от влияния субъективных факторов, связанных с особенностями личности экспериментатора и испытуемого, практически невозможно. Поэтому существует другое понимание объективности. Если использование в психологическом исследовании какой-либо измерительной процедуры разными исследователями при измерении одного и того же показателя на идентичных, но в тоже время разных выборках дает одинаковый результат, то данная измерительная процедура считается объективной. В этом определении акцент смещён с требования независимости на требование сохранения одинакового результата. Добиться сохранения одинакового результата возможно, для чего необходимо соблюдать меры по стандартизации основных составляющих измерительной процедуры (начиная от выбора заданий для испытуемого, времени для выполнения заданий, заканчивая процедурой регистрации данных, обработки и интерпретации результатов).
11. Стандартизация теста позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Этим достигается адекватная интерпретация показателя отдельного испытуемого. При стандартизации теста вводится понятие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности достаточной будет выборка из 500 испытуемых. Однако репрезентативность выборки не зависит от ее объема. Например, для того чтобы получить нормативные показатели для всей популяции детей, обучающихся в начальной школе, потребуется выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как пилоты авиакомпаний, не может быть столь значительной.
В некоторых случаях приходится формировать несколько групп стандартизации относительно возраста, пола, социального статуса и пр. Нормы находятся эмпирически, т.е. представляются в средних величинах и показателе стандартного отклонения.
Формула подсчета
средней арифметической величины:
Формула вычисления среднего квадратического
отклонения:
Статистические нормы задаются в соответствии со значениями средней арифметической величины и среднего квадратического отклонения измеряемого показателя.
Созданием стандартизованного теста и его публикацией обычно завершается работа психолога, но следует помнить, что с течением времени необходим пересмотр (ревизия) теста. Достаточно вспомнить о тестах интеллекта, нормы по которым устаревают через каждые 5 лет, и можно предположить, что процесс их старения будет ускоряться.
Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация (по А. Анастази) – это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
