11. Надежность. Виды надежности.

Что такое надежность:

1.Воспроизводимость результатов исследования

2.Точность измерения

3.Устойчивость результатов, получаемых с помощью определенной методики, во времени и по отношению к различным помехам (побочным переменным).

В узком тестологическом смысле надежность понимается как согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний (результаты тестов состояний могут все время меняться).

--------------------------

Дополнительно (лекции Орел). Общее определение: надежность – это устойчивость тестовых показателей относительно случайных, шумовых факторов, или относительно объекта измерения.

Надежность в классической теории отражает то, насколько различия в реальных (наблюдаемых) баллах респондента связаны с истинными индивидуальными различиями:

X0 = Xt + Xe.

Расхождение между действительностью и наблюдаемыми результатами измерений – ошибка измерения (различают: систематические, случайные, теоретические, инструментальны и др).

Ошибка измерения (ОИ) и надежность: на больших выборках ОИ нивелируется: чем больше выборка, тем «точнее» результаты; ОИ никак не связна с измеряемым свойством.

--------------------------

(Лекции Орел) Виды надежности:

- параллельные формы теста

- надежность-устойчивость

- надежность-согласованность

Параллельные формы теста – измеряют один конструкт, имеют одинаковую дисперсию ошибок, обладают одинаковой надежностью. Для любой методики можно создать параллельную форму, которая измеряет тот же конструкт. Коэффициент корреляции между параллельными формами теста – коэффициент надежности.

Ретестовая надежность (надежность-устойчивость):

• Измеряет устойчивость результатов теста во времени

• Интервал для повторного тестирования от 2 до 8 недель

• Подходит для оценки надежности методик, измеряющих устойчивые психологические черты – но! На одной и той же выборки, в тех же условиях

3 фактора, ограничивающих применение ретеста:

• Не все черты устойчивы во времени. Для методик состояния не подходит ретест, для интеллекта – подходит

• Интервал между тестом и ретестом: слишком длинный – черта может измениться, слишком короткий – человек может запомнить свои результаты или задания

• Применение на детях и подростках – развитие может искажать, для каждого возраста интервал подбирается отдельно

Надежность-согласованность - соответствие результатов внутри одного теста.

Способы измерения:

1. Расщепление теста пополам

2. Коэффициент Альфа Кронбаха – самый популярный способ измерения надежности. Альфа Кронбаха в целом будет возрастать по мере увеличения взаимных корреляций переменных, и, поэтому, считается маркёром внутренней согласованности оценки достоверности результатов тестов. Т.к. максимальное взаимные корреляции между переменными по всем пунктам присутствуют, если измеряется одно и то же свойство, альфа Кронбаха косвенно указывает на степень того, насколько все пункты действительно измеряют одинаковое свойство. Однако, следует заметить, что высокое значение коэффициента указывает на наличие общего основания у набора вопросов, но не говорит о том, что за ними стоит один единственный фактор. Профессионально разработанные тесты должны иметь внутреннюю согласованность на уровне не менее 0.90

Корреляционное измерение надежности (из презентации Орел):

• Номинальная шкала – четрырехклеточная корреляция Гилфорда

• Шкала порядка – ранговая корреляция Спирмена

• Шкала интервалов – линейная корреляция Пирсона

Надежность и валидность находятся в следующем неравенстве:

Валидность < или = Надежности, но при этом увеличение надежности не обязательно влечет увеличение валидности.

ДОПОЛНИТЕЛЬНО для справки: ОБЪЕКТ ПСИХОДИАГНОСТИКИ - это конкретный человек, являющийся носителем (обладателем) различных индивидуальных ПСИХИЧЕСКИХ СВОЙСТВ. Психические свойства образуют ПРЕДМЕТ психодиагностики. Важность различения ПРЕДМЕТА и ОБЪЕКТА проявляется, прежде всего, при обсуждении вопросов, связанных с обеспечением таких ПСИХОМЕТРИЧЕСКИХ СВОЙСТВА ТЕСТА, как НАДЕЖНОСТЬ и ВАЛИДНОСТЬ. Иногда тест может обладать высокой надежностью - это как раз и есть устойчивость относительно объекта: при проведении перетестирования практически все испытуемые могут оставаться на тех же местах на ранговой (порядковой) ДИАГНОСТИЧЕСКОЙ ШКАЛЕ, которые они занимали после первого тестирования. Но это еще не означает, что тест направлен на измерение желательного для нас психического свойства, то есть, это еще не означает высокой валидности.

Надежность методик различных типов (из презентации Орел):

0,7 – 0,8 - Личностные тесты

0,8 – 0,9 - Тесты интеллекта

0,9 – 0,95 - Тесты достижений

Дополнительно. Это не относится к надежности теста, но на всякий случай, вдруг пригодится.

Надежность экспертных оценок – тип надежности, связанный с поведением диагноста. Подтверждение надежности экспертных оценок необходимо в:

• наблюдении

• использовании проективных методов

• стандартизованных экспертных опросах (семантический дифференциал, 360 градусов, социометрия)

Оценка надежности экспертных оценок: