2.2. Надежность педагогических тестов, ее виды и оценка

Надежностью называется характеристика точности тестовых результатов и их устойчивости к действию случайных факторов. Термин «надежность» часто по сложившейся традиции, хотя и не вполне верно, используют по отношению к тесту. Некорректность состоит в том, что надежность самого теста условие необходимое, но не достаточное для получения высокой точности измерений. В случае нарушений требований к стандартизации условий проведения тестирования можно с помощью очень надежного измерителя получить результаты со значительным ошибочным компонентом. Поэтому более правильно говорить о точности и устойчивости результатов измерений, и только иногда использовать словосочетание «надежность теста».

Ошибка измерения определяется как статистическая величина, отражающая степень отклонения наблюдаемого балла от истинного балла испытуемого. Ошибки измерения происходят по различным как контролируемым, так и неконтролируемым причинам и дифференцируются в зависимости от источника происхождения на систематические и случайные. Источниками систематических ошибок являются недостатки тестов или процедур их применения, снижающие точность измерений. Случайные ошибки происходят в силу особенностей поведения испытуемых, которые могут плохо себя почувствовать в процессе выполнения теста. В целом ошибки измерения влияют в ту или иную сторону на результаты тестирования, снижая надежность теста, которую рассматривают только в контексте случайных ошибок измерения.

Поиск путей повышения надежности результатов педагогических измерений должен опираться на анализ причини их снижения. К числу таких наиболее часто встречающихся причин, часть из которых неизбежна, а другая часть может быть минимизирована в процессе измерений, можно отнести:

1. Субъективизм при оценке результатов выполнения заданий теста. Отход от жесткой стандартизации форм тестовых заданий, наблюдающийся в настоящее время в образовании в связи с появлением компетентностного подхода, включение заданий со свободно конструируемым ответом неизбежно снижают объективность оценок учебных достижений обучающихся. При анализе результатов выполнения заданий со свободно конструируемыми ответами всегда наблюдаются различия между подходами различных экспертов несмотря на стандартизацию оценочных рубрик, разрабатываемых к заданиям теста. Очевидным следствием этих различий является снижение надежности результатов измерения.

2. Угадывание. Как показывают специальные исследования, угадывание существенно снижает надежность результатов измерений, особенно в группах испытуемых со слабой подготовкой при ответах на наиболее трудные задания теста.

3. Двусмысленность формулировок заданий, логические просчеты, наличие не работающих дистракторов в заданиях с выбором ответа и другие недоработки приводят к тому, что некорректные задания пропускают наиболее сильные испытуемые, что в целом негативно отражается на надежности результатов тестирования.

4. Недостаточная длина теста. Излишняя минимизация длины теста приводит к снижению его надежности.

5. Отсутствие понятной, однозначно интерпретируемой испытуемыми, стандартной инструкции к тесту. Инструкции к тесту должны быть предельно стандартизованы и точны. Любые неоднозначности, двусмысленности и отступления от требований стандартизации в инструкции ведут к снижению надежности измерений.

В целом все перечисленные факторы приводят к снижению качества педагогических измерений, поэтому их влияние стараются нивелировать как в процессе создания, так и при применении теста. Можно получить ряд рекомендаций по повышению надежности теста:

1. Первым фактором, влияющим на надежность, является внутренняя согласованность теста, обеспечиваемая высокой однородностью содержания заданий при их отборе в тесте. Поэтому для обеспечения высокой надежности желательно разрабатывать одномерные компетентностные тесты, а это означает, что их число для итоговой аттестации обучающихся должно быть равно числу компетенций во ФГОС, что не реально в силу ограничений по времени на оценочные процедуры в учебном процессе.

2. Второй фактор, влияющий на надежность теста – его длина. Надежность повышается с увеличением длины теста. Этот формальный вывод не всегда согласуется рассогласование с реальными возможностями обучающихся. По мере роста длины теста увеличивается утомляемость и снижается мотивация к выполнению заданий теста, что в совокупности ведет к росту ошибки измерения. Поэтому при выборе оптимальной длины теста разработчики руководствуются группой факторов, среди которых: высокая дисперсия тестовых баллов, нормальный характер их распределения, форма используемых заданий, возраст испытуемых и определенное в соответствии с их физиологическими возможностями оптимальное время выполнения теста.

Для приближенного оценивания надежности можно использовать расчет коэффициентов корреляции в рамках программного обеспечения SPSS. Приемлемые оценки традиционной надежности измерений варьируют в довольно небольшом диапазоне и зависят от целей использования результатов измерений. В текущем учебном процессе вполне достаточно, чтобы оценки надежности колебались на уровне 0,7. При использовании тестов в рубежной или итоговой аттестации обучающихся желательно, чтобы оценки надежности были выше и достигали, хотя бы, 0,8. Если тест разрабатывают профессионалы для внешних оценок при комплексной проверке деятельности вуза, то к нему предъявляют более жесткие требования и значения коэффициента надежности должны превышать 0,85. Как правило, на практике надежность стандартизированных тестов в центрах тестирования колеблется в интервале (0,8; 0,9).

В целом, при оценке надежности нельзя полагаться лишь на один показатель, поскольку каждый из них имеет свои ограничения, смещающие оценки надежности теста в сторону завышения или занижения. Для достоверной проверки качества теста следует учитывать несколько показателей надежности