1) Содержательная валидность (content validity).

Когда идет речь об этом виде валидности, то имеется в виду соответствие теста как измерительного инструмента той области содержания, знания и умения которую проверяют данным тестом. В зависимости от выбранного подхода при создании теста будут предъявляться различные требования к содержательной валидности. Так для критериально-ориентированных тестов одно из требований содержательной валидности станет полнота отображения, а в некоторых случаях детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самое важное, свидетельствующее о знании дисциплины.

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.

2. Критериальная валидность.

Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).

Практически критериальную валидность определяют как корреляцию результатов тестирования и некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность в за висимости от выбранного критерия может быть текущей (внешний критерий - текущие оценки) или прогностической (критерий - некоторый будущий результат).

Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов.

Формула:

s_x² – дисперсия индивидуальных баллов

N – число студентов

-отклонение тестового балла i – го студента от среднего балла по тесту

-отклонение экспертного балла i – го студента от среднего арифметического экспертных оценок

Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.

Иногда педагог заинтересован в оценке прогностической валидности, указывающей меру вероятности прогноза успешности дальнейшего обучения по результатам выполнения теста. Высокой прогностической валидностью должны обладать тесты для приема абитуриентов в вузы. В этом случае результаты по тесту коррелируют с результатами поступивших абитуриентов после окончания первого года обучения в вузе. Высокая корреляция означает, что разработанные тесты прогностичны для отбора абитуриентов в вуз.

3. Конструктная (концептуальная) валидность.

Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства. Разработчик теста только предполагает о том, как будет проявляться объект измерения. Чаще всего это относится к психологическим тестам.

Для педагогических тестов понятие конструктной валидности применимо в процессе разработки теста, когда его качественные и количественные характеристики еще не имеют определенных характеристик. Для выявления валидности на этапе создания теста используются методы корреляционного и факторного анализа.

В про­стейшем случае, по мнению Загвязинского В.И. и Атаханова Р., валидность теста обычно определяется путем со­поставления полученных в результате тестирования показателей с экспертными оценками о наличии данного свойства у исследуе­мых (текущая валидность или валидность «по одновременности»), а также путем анализа данных, полученных в результате наблюде­ния за обследуемыми в различных ситуациях их жизни и деятель­ности, и их достижений в соответствующей области. Вопрос о валидности теста может быть решен еще и сравнением его данных с показателями, полученными с помощью методики, связанной с данной методикой, валидность которой считается установлен­ной (Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С. 105.

Рассмотрим вариант схемы, минимизирующей влияние случайных факторов, ставящих под сомнение внутреннюю и внеш­нюю валидность эксперимента.

Внутренняя валидность соблюда­ется, когда очевидно, что именно изучаемое экспериментальное воздействие привело к изменениям в данном эксперименте.

Внеш­няя валидность соблюдается, когда очевидно, на какие ситуации, случаи, области и т.д. могут быть распространены результаты эксперимента.

Д. Кэмпбелл приводит 8 факторов, угрожающих внут­ренней валидности:

1. Фактор фона — неконтролируемые события между началь­ным и контрольным измерениями.

2. Фактор естественного развития.

3. Эффект тестирования - влияние выполнения заданий первоначального тестирования на результаты следующего.

4. Инструментальная погрешность, связанная с неточностью измерительного инструмента.

5. Статистическая регрессия. Имеет место, когда группы отби­раются на основе крайних показателей и оценок. Известно, что точность измерений на крайних участках шкалы снижается.

6. Фактор отбора испытуемых — неэквивалентность групп по составу.

7. Отсев в ходе эксперимента.

8. Взаимодействие фактора отбора с естественным развитием.

Перечислим факторы, ставящие под угрозу внешнюю валидность (Кэмпбелл Д.Т. Модели экспериментов в социальной психологии и прикладных исследованиях. – СПб., 1996. – С. 46-47. – цит. по Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С. 121-122.)

1. Реактивный эффект — увеличение или уменьшение чувстви­тельности к экспериментальному воздействию под влиянием пред­варительного тестирования.

2. Эффект взаимодействия фактора отбора и эксперименталь­ного воздействия.

3. Условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент.

4. Взаимная интерференция экспериментальных воздействий.

Отдельно можно выделить неэкспериментальные влияния, кото­рые могут привести к артефактам (искусственно полученным фак­там) (лат. arte – искусственный + factus - сделанный, т.е. искаженный факт).

1. Эффект плацебо, механизм которого основан на самовнуше­нии и внушении.

2. Эффект Хоторна. Стимулируются осознанные или непроиз­вольные попытки соответствовать ожиданиям исследователя.

3. Эффект Пигмалиона (эффект Розенталя) — субъективные влияния исследователя, заинтересованного в том или ином ре­зультате.

4. Эффект аудитории — изменение поведения испытуемых под влиянием экспериментатора, публики.

5. Эффект первичности — зависимость оценки суждения от пер­вого впечатления (См.: Горбатов Д.С. Практикум по психологическому исследованию. – Самара, 2000. – С. 24.- цит. по Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С. 122.).

Для профилактики артефактов могут быть использованы раз­личные приемы. Например:

1. рандомизация выборок (случайный отбор испытуемых),

2. дезинформирование испытуемых (сообщение им ложных целей, гипотезы эксперимента),

3. маскировка экспери­ментальных воздействий, использование метода «скрытого» экс­перимента (когда испытуемые не подозревают, что участвуют в исследовании),

4. использование «двойного слепого метода» (когда экспериментатор и испытуемые не знают, какая группа является экспериментальной, какая — контрольной),

5. неинформированность лица, проводящего эксперимент, относительно его целей (Горбатов Д.С. Практикум по психологическому исследованию. – Самара, 2000. – С. 25.- цит. по Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С. 124.).

Выбор тех или иных методов должен соотноситься не только с их целесообразностью, но и с нравственно-этическими нормами, поскольку в социально-педагогических исследованиях очень важно не нане­сти урон, психологическую травму испытуемым. Условия разви­тия личности, формирования нравственных качеств должны со­блюдаться при любых экспериментах.

Проверка статистической гипотезы требует выбора статистиче­ского критерия, адекватного методике измерений и особенностям выборки. Наибольшее распространение в практике получили

t-кри­терий Стьюдента,

T-критерий Вилкоксона,

Q-критерий Розенбау-ма,

g*-критерий Фишера и др.

Подробнее см. Глас Дж., Стенли Дж. Статистические методы в педагогике и психологии: Пер. с англ. / Под ред. Ю.П. Афлера. – М., 1976.

Сидоренко Е.В. Методы математической обработки в психологии. – СПб., 1996.

Загвязинский В.И., Атаханов Р. – М.: 2003. – С. 124.

Определение надежности тестов

Надежность – согласованность показателей, полученных у тех же самых испытуемых при повторном тестировании тем же самым тестом или эквивалентной его формой. Надежный тест – тест, с помощью которого получаются одни и те же показатели для каждого обследуемого при повторном тестировании.

Виды надёжности