§5.9. Построение характеристических кривых для заданий теста

Используя таблицы 6 и 7, мы можем построить характеристические кривые испытуемых (PCC) и заданий (ICC). В качестве примера рассмотрим построение ICC. Для этого используем формулу , где β_j  будет   параметром, а  θ - переменной величиной.

График ICC строится, например, по 15-20 точкам. Рассмотрим процесс определения первой точки для первого задания. Из таблицы 9 видим, что первое задание имеет трудность β_j^’= -1,545. Пусть переменная θ  будет меняться в интервале от -5 до +5 с шагом 0,5 логита. Тогда у нас получится 21 точка. Точке №1 соответствует θ = -5. Вычислим значение вероятности успеха испытуемого с уровнем подготовленности -5 для задания с трудностью -1,545.

Аналогично вычисляются значения P₂(-4,5),  P₃(-4), … P₂₁(+5). Полученные точки соединяются плавной кривой. Затем точно также рассчитывается характеристическая кривая для второго задания с трудностью β_j^’= -1,669 и т.д.

Результаты по всем заданиям приведены на рис.8.

Рис.8. Характеристические кривые (ICC) для 8-ми заданий.

Из приведенных графиков видно, что задания неравномерно покрывают требуемый диапазон уровней подготовленности испытуемых (от -4 до +4), особенно в области +1 логита. С другой стороны, задания 1, 2 и 4, 5 дублируют друг друга, Часть из них можно удалить из теста без ущерба его общей дифференцирующей способности.

Представляет интерес сравнить эти теоретические кривые с нашими экспериментальными данными (рис.8 и 9). На рисунках приведены в качестве примера, данные для двух заданий (№5 и №6).

Видно, что задание №6 не соответствует модели Раша. Это может быть обусловлено как несовершенством задания (по форме и/или по содержанию), так и нарушениями в процедуре тестирования.

Рис. 9 и 10.

§5.10. Уровни rm. Причины отставания России в вопросах применения rm.

В RM можно выделить практику, теорию, методику, технологию и методологию.

Главные направления развития теории – это формирование собственного языка RM, разработка моделей, проверка пригодности заданий по статистическим критериям, разработка вычислительных методов RM.

Методика RM касается вопросов алгоритмизации применения различных методов в процесс педагогического измерения.

Методология RM имеет своим предметом развитие соответствующей теории и преобразование (повышение эффективности ) практики педагогических измерений.

В России педагогические измерения по модели датского математика Г. Раша не получили заметного распространения. Хотя значение и роль таких измерений за последние десятилетия выросли во всём мире. В настоящее время RM применяется для качественного шкалирования интересующих объектов и показателей состояния этих объектов, в таких сферах как образование, медицина, социология, психология и др.

Можно выделить три причины неадекватности педагогических измерений, основанных на модели Г. Раша, требованиям времени.

Первая и главная причина – это сверхизбыточное государственное вмешательство в сферу, сопряжённую с педагогическими измерениями. Уже два десятилетия в России вместо педагогических измерений государством и его органами активно навязываются некачественные методы и затратные бюрократические схемы, так называемые ЕГЭ, КИМы, АПИМы, ОСОКО, уводящие научно-педагогическую общественность в сторону от разработки подлинных научных методов педагогических измерений.

Вторая причина - слабая информированность относительно сути и возможностей (RM). Результаты неинформированности проявляются в малом количестве случаев применения RM и, одновременно, в заметных масштабах ухудшения качества образования в стране. Связь качества образования с RM может показаться особо спорной и даже непонятной. Но если представить качество образования как одно из следствий недостатков используемых в практике учебных заданий, то становится понятным, что умелое управление собственной учебной деятельностью учащихся и студентов невозможно без качественной и объективной информации о сравнительной мере трудности каждого задания и о возможности задания быть включённым в тест.

Третья причина слабого применения RM в России - это отсутствие приемлемого педагогического языка RM, необходимых изданий, в том числе доступных большому числу начинающих исследователей. Тексты по этой проблеме написаны в основном математиками для математиков. Там используются язык теории вероятности и статистики, не очень понятный педагогам иных специальностей, неадекватные переводы иностранной лексики вроде «характеристических кривых заданий (item characteristic curves).

На этом фоне педагогическая теория педагогических измерений и язык этой теории в России остаются не востребованным.