Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Обзорная лекция по ПД.doc
Скачиваний:
2
Добавлен:
01.05.2025
Размер:
463 Кб
Скачать
☆

Спецификация будущего теста

Манифестации

Содержатель­ные области

А (25%)

А (40%)

В (40%)

С (10%)

D (10%)

В (25%)

С (25%)

D (25%)

Кол-во заданий

  1. Определение количества заданий (вопросов), которое должно быть создано для каждой из ячеек. При этом следует учесть, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. Каждой манифестации и каждой содержатель­ной области приписывается %-ный вес. Расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. При решении вопроса о конечном количестве заданий в тесте необходимо учитывать как размер решетки, так и время, предполага­емое для выполнения заданий. В определении количества заданий возникает дилемма: 1) обеспечение надежности теста (требует увеличения заданий); 2) мини­мизация количества заданий для обеспечения эффективной работы испытуемого (поддержание концентрации внимания в ходе обследования). Для достижения удовлетворительной надежности опрос­ника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. В пилотажном исследовании количество зада­ний предварительного варианта теста должно быть по крайней мере на 50% боль­ше числа тех, которые будут включены в окончательную версию.

4. Разработка заданий. В каждом задании может быть задан толь­ко один вопрос или сформулировано одно утверждение. Нельзя допускать появ­ления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей», «как и другие» и т.п. Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто. Необходимо: 1) избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов; 2) стремиться, чтобы обследуе­мые не могли догадаться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на вы­раженность у себя этой черты, а не реальное положение дел. Задания должны отражать конкретные, а не общие аспекты изучаемой обла­сти поведения. Следует избегать употребления таких слов, как «часто», «редко» и т.п. То, что одним ис­пытуемым интерпретируется как «часто», для другого совсем не так. Следует избегать терминов, выражающих чувства, луч­ше представить задание в контексте поведения.

Важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.

После разработки всех заданий к ним следует вернуться через некоторое вре­мя и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого рекомен­дуется привлечь хотя бы двух-трех экспертов.

В личностных опросниках, как пра­вило, используют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Задания с альтернативным выбо­ром (дихотомические) просты для понимания, легки и удобны для об­работки, требуют наименьшего времени для ответа. Недостато­ – обследуемые часто не удовлетворены предлагаемой альтер­нативой, хотели бы видеть больше вариантов ответа. Задания трихотомические (три варианта ответа, например «да», «не знаю», «нет») также распространены. Преимуществом – обследуемые могут более точ­но выразить себя, нежели в случае альтернативы. Недостаток – могут актуализироваться установ­ки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю», «иногда» и т.п. В рейтинговых шкалах не рекомендуется использование более семи вариантов ответа. Важно обеспечить достаточное количество градаций ответа, чтобы обследуемые были в состояний адекватно выразить самих себя. В разрабатываемом опроснике желатель­но использовать только один тип заданий.

Установки, которым подвержены испытуемые в процессе ответов: 1) установка на согласие; 2) установка на социально одобряемый ответ; 3) установка на неопределенные ответы (так называемые ответы средней ка­тегории).

5. Оформление теста. От оформления, формы представле­ния методики (очевидная, или лицевая валидность методики) зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен: 1) блок основной ин­формации (название и вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных; обязательно указывается дата заполнения опросника); 2) инструкция должна быть ясной, доступной для понимания; в ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике; 3) текст опросника (реко­мендации для компоновки текста опросника: нумеруется каждое задание; каждая строка на странице должна быть короткой и содержать не более 10-12 слов; все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы; варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы; необходи­мо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него; каждое задание нужно отделить друг от друга, лучше это сделать, исполь­зуя свободное пространство, а не горизонтальную линию; если используется более чем один тип заданий, одинаковые задания груп­пируются вместе, каждый тип заданий требует разных инструкций и своих вариантов ответов: опросник печатается так, чтобы он имел эстетически привлекательный вид).

Дизайн опросника может способствовать воспри­ятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий). Результаты обследования (разные формы их представления) обычно не при­нято включать в опросник, хотя в некоторых случаях допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняе­мого психологом.

6. Пилотажное исследование предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника. Пилотажную вер­сию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного исследования, должно быть в два раза больше, чем количество заданий. Если не­возможно получить такое количество испытуемых, лучше все-таки привлечь к ис­следованию меньшее количество людей, чем вообще отказаться от проведения пи­лотажной стадии исследования.

7. Анализ заданий. Цель – отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с клю­чом) и дискриминантности каждого задания. Первый шаг – составляется таблица анализа заданий (каждая колонка представляет задание, каждая строка – обследуемо­го). В личностных опросниках в таблицу вписывается соответствующий балл по каждому заданию, при этом обрат­ные задания (с противоположным содержанием) оцениваются так же, как и пря­мые задания, но в противоположном направлении континуума оценок. Затем сум­мируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Следующий шаг – вычисление показателя, определяющего долю испы­туемых, ответивших в соответствии с «ключом» опросника или индекса эффек­тивности задания. Подсчитывается делением количества обсле­дуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин­декс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов.

Образец матрицы для анализа заданий

Обследуемый

Задания

Сумма

a

b

с

d

е

1.

2.

3.

4.

5.

1

0

1

1

0

1

1

0

0

0

0

0

0

0

0

1

0

1

0

1

1

1

1

1

1

4

2

3

2

2

Сумма

3

2

0

3

5

13

Задания (вопросы, утверждения) только тогда следует включать в окончатель­ную версию опросника, когда они измеряют те же самые личностные особенно­сти, что и другие, предназначенные для этого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как прави­ло, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле­вой корреляцией почти всегда исключаются.

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффек­тивности и дискриминантности нужно определить то количество заданий, кото­рое потребуется для окончательной версии (не менее 20-30 заданий!) и насколь­ко хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показате­лем эффективности при условии, что оно обладает достаточной дискриминантностью. Также важно обеспечить приблизительно равное количество прямых и об­ратных заданий. Для испытуемых разных полов необходимо выполнить отдель­ные процедуры анализа заданий.

8. Определение надежности теста. Надёжность – относительное постоянство и устойчивость результатов измерения при первичном и повторном его применении на одних и тех же испытуемых. Понятие надежности связано с понятием точности измерения. Если многократное измерение каждый раз дает абсолютно разное значение измеряемого показателя, значит, измерительная процедура не является надежной. Повторное применение надежного инструментария должно давать сходные результаты. Некоторые расхождения допустимы, но важно чтобы, они были незначительными. Надежность – критерий, который говорит о точности психологических измерений, т.е. насколько внушают доверие полученные результаты.

В тесте проверяется: 1) надежность самого измерительного инструмента (метод расщепления); 2) стабильность измеряемого признака; 3) константность, т.е. относительная независимость результатов от незначительных изменений в условиях проведения обследования (метод ретеста).

Метод расщепления. Обычно задания теста делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Если измерительный инструмент однороден, то большой разницы в успешности решения по таким половинкам не будет, следовательно, коэффициент корреляции будет достаточно высоким (не ниже r = +0,75).

Метод ретеста – повторное измерение интересующего качества на одной и той же выборке с использованием одной и той же измерительной процедуры при сохранении одних и тех же условий, но через определенный временной интервал. О стабильности измеряемого признака судят по коэффициенту корреляции между показателями первого и второго замера. Коэффициент корреляции должен быть не ниже r = +0,70. Очень многое в данном методе зависит от временного интервала. Если он небольшой, то испытуемый, уже знакомый с процедурой измерения, будет помнить результат и ориентироваться на него (либо подгонять под первоначальный, либо стремиться продемонстрировать «новый» результат). Это нежелательно, идет искажение надежности. Если времени слишком много, испытуемые забудут прежний результат, но и в самих измеряемых качествах могут произойти значительные изменения, т.е. ретест будет замерять уже новое качество, а не воспроизводить старый результат. Оптимальным считается временной интервал в 2 – 3 недели.

Метод параллельного измерения. Применяется для проверки константности методики. Коррелируются результаты двух экспериментов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции должен быть не ниже r = +0,80.

9. Определение валидность теста. Валидность – характеристики способности измерительной процедуры измерять действительно то, для чего эта процедура используется. Тест называется валидным, если он измеряет то, для измерения чего предназначен. Проверка измерительной процедуры на валидность называется валидизацией.

Очевидная валидность – описывает представление о тесте, сложившееся у ис­пытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то ме­ре трепет медицинским диагностическим инструментарием. Очевидная валид­ность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикация­ми в популярных газетах и журналах того, что можно назвать квазитестами, с по­мощью которых читателю предлагается определить все, что угодно: от интеллек­та до совместимости с будущим супругом.

Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установ­лена.

Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свой­ство, но в более позднее время. По Л. Кронбаху, прогностическая валидность – наиболее убедительное доказательство того, что тест измеряет именно то, для чего он был предназначен. Основная проблема – выбор внешнего критерия (это особенно затруднительно при разработке личностных тестов).

Инкрементная валидность имеет ограниченное значение и относится к слу­чаю, когда один тест из батареи тестов может иметь низкую корреляцию с крите­рием, но не перекрываться другими тестами из этой батареи.

Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успева­емостью, но по-разному для разных дисциплин. Ее значение так же ограничено.

Содержательная валидность – подтверждение того, что за­дания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений. На практике для ее определения подбирают­ся эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, гене­рируются задания теста, которые вновь оценивают эксперты.

Конструктная валидность демонстрируется полным, насколько это воз­можно, описанием переменной, для измерения которой предназначается тест. По сути дела, она включает в себя все подходы к определению валидности, которые были перечислены выше. Решение вопроса о конструктной валидности – поиск ответа на два вопроса: 1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству.

Не существует какого-либо единичного пока­зателя, с помощью которого устанавливается валидность психологического теста. В отличие от надежности и дискриминативности, нельзя осуществить точные статистические расчеты, подтверждающие валидность методики. Однако разработчик должен представить весомые доказательства в пользу валидно­сти теста, что потребует от него психологических знаний и интуиции.

10. Определение объективности теста. Согласно Кеттэллу, измерительная процедура считается объективной, если ее цель скрыта от испытуемого (что не позволяет ему фальсифицировать результаты измерения) и данные, полученные с ее помощью, могут быть оценены независимо от лица, проводящего измерение и интерпретацию. Добиться независимости измерения психологических качеств и свойств от влияния субъективных факторов, связанных с особенностями личности экспериментатора и испытуемого, практически невозможно. Поэтому существует другое понимание объективности. Если использование в психологическом исследовании какой-либо измерительной процедуры разными исследователями при измерении одного и того же показателя на идентичных, но в тоже время разных выборках дает одинаковый результат, то данная измерительная процедура считается объективной. В этом определении акцент смещён с требования независимости на требование сохранения одинакового результата. Добиться сохранения одинакового результата возможно, для чего необходимо соблюдать меры по стандартизации основных составляющих измерительной процедуры (начиная от выбора заданий для испытуемого, времени для выполнения заданий, заканчивая процедурой регистрации данных, обработки и интерпретации результатов).

11. Стандартизация теста позволяет сравнить показатели, полученные одним испы­туемым, с таковыми в генеральной совокупности или соответствующих группах. Этим достигается адекватная интерпретация показателя отдельного испы­туемого. При стандартизации теста вводится поня­тие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности до­статочной будет выборка из 500 испытуемых. Однако репрезентативность выбор­ки не зависит от ее объема. Например, для того чтобы получить нормативные по­казатели для всей популяции детей, обучающихся в начальной школе, потребует­ся выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как пилоты авиакомпаний, не может быть столь значительной.

В некоторых случаях приходится формировать несколько групп стандар­тизации относительно возраста, пола, социального статуса и пр. Нормы находятся эмпирически, т.е. представляются в средних величинах и показателе стандартного отклонения.

Формула подсчета средней арифметической величины:

Формула вычисления среднего квадратического отклонения:

Статистические нормы задаются в соответствии со значениями средней арифметической величины и среднего квадратического отклонения измеряемого показателя.

Созданием стандартизованного теста и его публикацией обычно завершается работа психолога, но следует помнить, что с течением времени не­обходим пересмотр (ревизия) теста. Достаточно вспомнить о тестах интеллекта, нормы по которым устаревают через каждые 5 лет, и можно предполо­жить, что процесс их старения будет ускоряться.

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация (по А. Анастази) – это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.