Пример. Анализ правдоподобности дистракторов в заданиях закрытой формы с четырьмя ответами

№ задания	Всего	Распределение ответов испытуемых
		1-й ответ		2-й ответ		3-й ответ		4-й ответ
		кол.	%	Кол.	%	кол.	%	кол.	%
1	96	8	8,3	1	1,0	65	67,7*	22	22,9
2	96	4	4,2	20	20,8	2	2,1	70	72,9*
3	97	19	19,6	29	29,9	24	24,7*	25	25,8
4	93	18	19,4	10	10,8	59	63,4*	6	6,5
5	96	47	49,0	33	34,4*	9	9,4	7	7,3
6	97	0	0,0	6	6,2	91	93,8*	0	0,0
7	90	19	21,1	24	26,7	40	44,4*	7	7,8
8	93	3	3,2	11	11,8	2	2,2	77	82,8*
9	86	31	36,0	1	1,2	22	25,6	32	37,2*
10	97	35	36,1	23	23,7	39	40,2*	0	0,0

Звездочками помечены верные ответы.

В результате дистракторного анализа выявляются задания с неработающими дистракторами (вариантами ответов в закрытом задании, которые испытуемые выбирают мало или вообще не выбирают). Если в задании есть неработающие дистракторы, то вероятность угадывания правильного ответа повышается, а следовательно снижается его трудность. Такие задания требуют переработки (замены неработающих дистракторов) или удаления их из теста. Задание №6 можно переделать в открытую форму.

Дискриминативность тестового задания.

Дискриминативность (дифференцирующая способность, различающая способность) задания - это способность задания дифференцировать испытуемых по уровню достижений, на сильных и слабых. Если задание одинаково выполняется и слабыми, и сильными, то можно говорить о низкой дискриминативности задания. Если задание выполняется сильными испытуемыми, а слабые дают отрицательный результат, то мы имеем высокую дискриминативность. Высокая дискриминативность тестовых заданий важна для нормативно-ориентированных тестов, основная цель которых - ранжирование учащихся по уровню достижений.

Один из способов вычисления дискриминативности - вычисление с применением метода крайних групп, где для расчета берутся показатели самых слабых и самых сильных испытуемых. Чаще всего это 27 (30) % худших и 27 (30) % лучших по результатам выполнения тестового задания.

Индекс дискриминативности определяется как разность долей правильных ответов сильной и слабой групп.

(r _дис)_j = (p₁)_j - (p₀)_j,

или

(r _дис)_j = ((P₁)_j - (P₀)_j)/100%, если трудность задана в процентах

где r - индекс дискриминативности, p₁ - доля правильных ответов в сильной подгруппе (27 % от всего количества), p₀ - доля правильных ответов в слабой группе (27 %). Значение индекса дискриминативности располагается в интервале [- 1; 1]. Если индекс дискриминативности выше нуля (больше 0,3 считается удовлетворительным), а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом. Если r = 0, то это значит, что и слабые, и сильные испытуемые выполняют задание одинаково. Отрицательный показатель дискриминативности, появляется в том случае, когда слабые учащиеся выполняют задание правильно, а сильные - неправильно, что свидетельствует о некачественном (невалидном) задании. Соответственно тестовые задания с показателями r_дис близким к 0 и r_дис< 0 следует удалить

№ задания	Pj для всех испытуемых	Группа		Индекс rдис
		Pj для слабой	Pj для сильной
1	21,0	6,5	32,0	0,26
2	94,0	90,0	97,0	0,065
3	64,0	42,0	97,0	0,55
4	59,0	68,0	58,0	-0,097
5	27,0	16,0	29,0	0,13
6	70,0	29,0	94,0	0,65
7	30,0	13,0	42,0	0,29
8	12,0	9,7	16,0	0,065
9	33,0	16,0	52,0	0,35
10	73,0	42,0	90,0	0,48

Трудность и дискриминативность - взаимосвязанные характеристики тестового задания.

Высокая дискриминативность, которая свидетельствует о сильном дифференцирующем эффекте тестового задания, характерна для заданий со средним показателем трудности (0,5).

С помощью подсчета значений бисериальной или точечно-бисериальной корреляции (связи) также оценивается валидность отдельных заданий теста. Коэффициенты считаются, когда один набор значений распределения задается в дихотомической шкале, а другой - в интервальной. В нашем случае мы находим показатель связи между результатами выполнения каждого задания (дихотомическая шкала) и суммой баллов испытуемых по заданиям теста (интервальная шкала). Мы будем использовать формулу для нахождения точечно-бисериального коэффициента, так как он, в отличии от бисериального, не может выходить за рамки [-1; 1], что более удобно для интерпретации.

, где

- среднее значение индивидуальных баллов испытуемых, выполнивших верно j-ое задание теста,

- среднее значение индивидуальных баллов испытуемых, выполнивших неверно j-ое задание теста,

S_x – стандартное отклонение по множеству значений индивидуальных баллов,

(N₁)j – число испытуемых, выполнивших верно j-ое задание теста,

(N₀)_j – число испытуемых, выполнивших неверно j-ое задание теста,

N – общее число испытуемых.

В целом задание можно считать валидным, если r_pbis близко к 0,5. Оценка валидности задания позволяет судить о том, насколько задание пригодно. Если цель – дифференциация учеников по уровню подготовленности, то валидные задания должны четко отделить хорошо подготовленных от слабо подготовленных учеников тестируемой группы. Значения r_pbis близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. Все задания у которых r_pbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Корреляци­онный анализ.

Метод корреляционного анализа позволяет определять связи между явлениями, а следовательно, позволяет устанавливать психолого-педагогические закономерности на основе статистического подхода. Мера связи (кор­реляции) позволяет ответить на вопрос, как сильно между собой связаны два признака одной и той же группы.

Под корреляционной связью понимают согласованные (сопряженные) изменения двух или более признаков.

Количественная величина степени согласования признаков называется коэффициентом корреляции.

Примеры исследовательских психолого-педагоги­ческих задач, решение которых требует использования средств корреляционного анализа:

1. Определение для конкретной группы учащихся степени свя­зи между оценками, полученными в процессе обучения, и уров­нем умственного развития. Понятно, что нулевая или отрицательная связь будет свидетельствовать о том, что система оценивания учебной деятельности учащихся не опирается на факторы разви­тия ученика и вообще является тормозом умственного развития.

2. Определение степени связи между тревожностью ребенка уровнем проявления творческих способностей. Возможно предпо­ложение, что подавление развития творческих способностей при­ведет к повышению уровня тревожности

3. Определение связи между стилем педагогической деятельности учителя и формирующимися личностными качествами учащихся.

4. Определение связи между объемом учебной нагрузки по раз­личным учебным предметам и утомляемостью учащихся.

Подробное описание методик расчета коэффициентов корре­ляции приводится в работе Дж. Гласса и Дж. Стенли – Глас Дж., Стенли Дж. Статистические методы в педагогике и психологии: Пер. с англ. / Под ред. Ю.П. Афлера. – М., 1976; Сидоренко Е.В. Методы математической обработки в психологии. – СПб., 1996.

В практике можно использовать корреляционный ана­лиз и не вникая в математические тонкости. Для этого используют компьютерные программы Excel и Statistica (Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С.129-130.

Применение тестов всегда связано с измерением проявления того или иного психологического свойства и оценки уровня его развития или сформированности. Поэтому важное значение имеет качество теста. Качество теста характеризуется критериями его точности, т.е. надежностью и валидностью. Т.о., надежность и валидность являются основными показателями качества теста. А так как тест является инструментом педагогического измерения, то эти показатели имеют численное значение и определяются с помощью различных методов как в классической теории тестов, так и в современной теории тестов.

НАДЕЖНОСТЬ.

// Морис Решлен Измерение в психологии

ПРОБЛЕМА НАДЕЖНОСТИ ИЗМЕРЕНИЯ