15. Психометрические требования к построению и проверке методик.

Валидность – это способность теста измерять ту психологическую характеристику, для которой он предназначен. А.Анастази: “Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает”.

Понятия валидности включает в себя разные ее виды, имеющие свой особый смысл.

1. Валидность измерительного инструмента (отношение к самой методике) (теоретическая валидизация исследователя интересует само свойство, измеряемое методикой (это означает, что проводится психологическая валидизация)). Действительно ли методика измеряет именно то свойство, качество, которое она должна измерять по мнению исследователя.

2. Валидность цели использования (прагматическая валидизация).

Оценка валидности может носить количественный и качественный характер. Для вычисления количественного показателя (k) - коэффициента валидности – сопоставляются результаты, полученные при применении методики с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону) Качественное описание – клинические оценки. Это качественное описание сущности изучаемого свойства.

Существует несколько видов валидности, обусловленных особенностями диагностических методик и временным статусом внешнего критерия: Валидность “по содержанию” (в тестах достижения - проводится сопоставление успешности по тесту с экспертными оценками учителей по данному материалу). Иногда этот прием называют логической валидностью. Валидность “по одновременности” (текущая валидность). Собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность и т.д. С ними коррелируют резульлтаты успешности по тесту. “Предсказывающая валидность” (“прогностическая” валидность). Информация по внешнему критерию собирается некоторое время спустя после испытания. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. “Ретроспективная” валидность. Определяется на основе критерия, отражающего события или состояния качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

Трудность заданий теста – это характеристика заданий теста, отражающая статистический уровень решаемости заданий в данной выборке стандартизации. Выделяют 2 вида трудностей:

• Субъективно-психологическая. Она связана с индивидуально-психологическим барьером (как воспринимается задание теста самим испытуемым): лимит времени, понимание инструкции, знания и умения испытуемого, психическое состояние испытуемого, мотивация. Воздействие этих факторов на результат выполнения теста снижает надежность и достоверность данных. Выравнивание этих воздействий производится с помощью направленного комплектования выборки и стандартной процедуры проведения. Требования к проведению тестирования: строгое соблюдение процедуры тестирования, создание мотивации.

• Статистическая (объективная трудность). Показатель – доля лиц в выборке решивших или не решивших задание. 20% решили, 80% не решили – тест трудный, наоборот – легкий. Слишком легкие и трудные задания убираются. Трудность соответствует % содержанию выполнения заданий. Расположение заданий по индексу трудности позволяет испытуемому оценить свое состояние в данный момент. В каждом субтесте каждое задание просчитывается на трудность, поэтому нельзя менять задания и субтесты местами. Каждый вопрос должен быть в допустимом интервале трудности. Допустимый уровень трудности от 0,16 до 0,84.

Дискриминативность заданий теста – это способность отдельных пунктов (заданий теста) дифференцировать испытуемых относительно “минимального” или максимального результата теста. Любой ответ испытуемого на конкретное задание можно представить по 2-х бальной шкале – верно (1 балл), неверно (0 баллов). Сумма баллов по всем пунктам представляет первичную (“сырую”) оценку.

Мера соответствия успешности выполнения одной задачи всему тесту является показателем дискриминативности заданий теста для данной выборки и называется коэффициентом дискриминации (индексом дискриминации). Он может принимать значение от –1 до +1. Высокий положительный коэффициент говорит об эффективности деления испытуемых. Высокое отрицательное значение говорит о непригодности данной задачи для теста. Коэффициент дискриминации является показателем критериальной валидности отдельного пункта. Индекс дискриминации вычисляется с применением метода контрастных групп. В выборке испытуемых выделяют группы по успешности.