11. Тестирование умственного развития: сопоставительный анализ подходов, ориентированных на статистическую норму и социально-психологический норматив.

Выбор критерия, по которому следует проводить сравнение результатов интеллектуальных диагностических методик, имеет принципиальное значение для современной психодиагностики. Данные какой-либо методики нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, т.к. это развитие выражено в мерах, присущих лишь данной методике. Следовательно, абсолютного значения полученные результаты иметь не могут. Только при сравнении результатов с некоторой точкой отсчета появляется возможность их содержательной интерпретации.  В традиционном тестировании такая точка отсчета добывается статистическим путем – это т.н. статистическая норма. Она получается на основе эмпирических исследований выборок испытуемых, отличающихся по социально-экономическим признакам.  В ряде работ неоднократно подчеркивалась неправомерность использования такого критерия сравнения, т.к. при получении нормы допускается как статистическая, так и психологическая ошибка. По установившейся на Западе практике для получения норм по тесту проводится тестирование нескольких выборок – статистическая норма вычисляется по суммарным данным. При подборе выборок стараются составить их из различных по социально-экономическому статусу и культурным традициям слоев населения – в той же пропорции, в какой они представлены в стране. Нетрудно обнаружить нелогичность и противоречивость такого понимания нормы. Если признается, что выборки (значит, и представленные в них слои населения) действительно дают количественно и качественно несходные результаты, что, кстати, подтверждено эмпирическими данными, то неправомерно их объединять, т.к. за несходством результатов скрываются какие-то существенные психологические различия. Если же считать все эти различия и несходство результатов чем-то несущественным, то незачем брать несколько выборок – достаточно взять для вычисления нормы результаты по какой-то одной, предпочитаемой исследователем, выборке. Так же нетрудно обнаружить, что в этом случае допускается не только статистическая неточность, но и психологическая ошибка: на единую ось количественного сравнения ставятся выборки людей, развитие которых проходило в различных условиях, сказавшихся на их психике. Когда в качестве критерия сравнения принимается норма, полученная путем неправомерного объединения психологически различных выборок, причем игнорируются условия, несомненно влияющие на психическое развитие, то такой способ расчета нормы ставит представителей разных групп в неравное положение при интерпретации тестовых результатов. Статистическая норма, подсчитанная на неоднородной выборке, завышается для одних участников тестирования и занижается для других. Неодинаковые условия развития ставят людей в неравное положение при выполнении психологического теста, а ориентация на статистическую норму как бы узаконивает это неравенство. При применении зарубежных тестов интеллекта в нашей стране или при разработке собственных методик перед исследователем неизбежно встает вопрос, каким критерием при сравнении результатов он будет пользоваться. Если бы в нашей стране уже были ликвидированы существенные различия между социальными группами, тогда мог бы быть поставлен вопрос о разработке одной общей нормы для оценки умственного развития индивидов сходного образовательного и возрастного уровня. Если же существенные различия еще сохраняются, то это означает, что имеются и различия в условиях онтогенеза и единой статистической нормы умственного развития быть не может. Эту проблему не раз поднимал в своих работах К.М.Гуревич. Он отмечал, что критерий сравнения по нормам, полученным путем неправомерного объединения разных выборок, игнорирует влияние различных условий онтогенеза на умственное развитие людей. Эти условия многообразны и в первую очередь включают условия обучения. Кроме того, само представление тестовых данных в виде баллов кривых распределения затрудняет качественный анализ теста и влияния разных условий на развитие индивида. Критикуя применение нормы в качестве критерия развития, К.М.Гуревич пишет: "…норма характеризует выборку или популяцию, но не раскрывает действительных и обычных, т.е. нормальных требований к человеку как… члену общества. Имманентно присущая данной выборке статистическая норма по тем или другим причинам может не совпадать с нормальными требованиями к нему. Но эти требования совсем не случайны, они опираются на общественную практику и вытекают из нее."  В качестве критерия, ориентируясь на который можно сравнивать данные тестирования, К.М.Гуревич предлагает использовать т.н. социально-психологический норматив (СПН). В сжатом виде СПН можно определить как систему требований, которую общество предъявляет каждому из его членов. Чтобы не быть отвергнутым от существующей вне его общности, человек должен овладеть теми требованиями, которые к нему предъявляются, причем он сознательно осуществляет процесс приобщения к своему классу, группе. Эти требования и могут составлять содержание СПН, которые являются, в сущности, идеальной моделью требований социальной общности к личности. Следовательно, оценка результатов тестирования должна проводиться по степени близости к СПН, который дифференцируется в образовательно-возрастных границах. Такие требования могут быть закреплены в форме правил, предписаний, требований к человеку и включать самые разнообразные аспекты: умственное развитие, нравственное, эстетическое и др.  Эти требования выступают для человека как нормативы – социальные, т.к. их ставит перед человеком его общность; психологические, т.к. они обращены к его психической жизни и деятельности.  Требования, составляющие содержание СПН, вполне реальны, они присутствуют в образовательных программах, в квалификационных профессиональных характеристиках, общественном мнении, мнении учителей и воспитателей. Естественно, надо учитывать, что эти требования есть продукты эмпирии, и поэтому их не следует заранее признавать окончательными. Как только начинают складываться новые общественные отношения, происходят глобальные изменения в науках, появляются и новые СПН, возникающие частью стихийно, частью как осознанные обществом требования. Хотя уходящие в прошлое нормативы живучи, и это не может недооценивать психолог.  Использование в качестве критерия развития СПН выдвигает на первый план качественный способ обработки данных. При этом необходимо учитывать: а) какие термины и понятия по степени обобщенности усвоены лучше, а какие хуже; б) какие логические операции освоены более, а какие менее успешно; в) в каком круге понятий и терминов ученики ориентируются менее, а в каком более уверенно. Необходима и иная обработка результатов тестирования – установление близости данных каждого испытуемого или группы к СПН. На оперативном уровне эта проблема еще не является решенной.  Все сопоставления индивидуальных или групповых результатов тестирования проводятся с тем максимумом, который представляется в тесте (а это полный набор знаний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Для анализа данных относительно их близости к СПН, условно рассматриваемому как 100%-ное выполнение всего теста, все испытуемые подразделяются по результатам тестирования на 5 подгрупп (%):

1. наиболее успешные – 10;

2. близкие к успешным – 20;

3. средние по успешности – 40;

4. малоуспешные – 20;

5. наименее успешные – 10.

Для каждой из подгрупп подсчитывается средний процент правильно выполненных заданий. Строится система координат, где по оси абсцисс идут номера подгрупп, а по оси ординат – процент выполненных каждой из подгрупп заданий. После нанесения соответствующих точек вычерчивается график, отражающий приближение каждой из подгрупп к СПН. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.  По мнению ряда современных отечественных авторов, использование СПН является более эвристичным, чем применение статистической нормы при интерпретации результатов тестовых испытаний.  Представляется более важным исследовать степень подготовленности индивида к тем требованиям, которые выдвигает перед ним общество (с учетом его возраста) в виде СПН, а не то, какое место (какой ранг) он занимает в ряду своих сверстников, где его место относительно среднего арифметического (нормы). Подход с позиций СПН открывает путь для выяснения: а) степени близости логического и понятийного развития к тому, который признается общественно необходимым; б) пробелов в этом развитии, выявляемых при сравнении учащихся разных школ и классов и внутри одного класса, что в конечном итоге поможет школе, учителю с отчетливо понять собственные недочеты, а может быть, и выявить недостатки в построении программ обучения.  Установление степени близости каждого человека к социально-психологическим нормативам (в когнитивной, этико-моральной, эмоционально-потребностной сферах и т.д.) посредством набора адекватных методик – в этом, по мнению К.М.Гуревича, главная цель психологической диагностики. Он считает, что СПН должны прийти на смену статистическим нормам.  Однако, признавая непригодность общей статистической нормы, не следует отказываться от получения "центральных значений" (моды, средней арифметической) каждой отдельной выборки, т.к. сравнение "центральных значений" имеет определенное методическое и теоретическое значение. Принятие нормативов не означает, что все сопоставления при диагностических исследованиях будут проводиться лишь в сравнениях того, насколько та или иная группа испытуемых близка к нормативам. Сохраняют свое значение и другие количественные отношения. Но очень многие из традиционных приемов обработки потребуется пересмотреть. В свете новых представлений о точках отсчета в психодиагностике должны быть внимательно проанализированы и сложившиеся в традиционной тестологии понятия надежности и валидности.

12. Критериально ориентированное тестирование (КОРТ). Основные этапы разработки КОРТа. Опыт разработки КОРТов в отечественной психодиагностике умственного развития школьников (КОРТы Е. И. Горбачевой, Г. А. Бертулавы).

Термин "критериально-ориентированный тест" предложен Р.Глассером в 1963 г. для того, чтобы отделить новые виды тестирования от традиционных, ориентированных на нормы. Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) в зарубежной психодиагностике обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это – основное отличие КОРТов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму).  Различают две разновидности КОРТов: 1) тесты, задания которых гомогенны, т.е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода КОРТы разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;  2) тесты, задания в которых гетерогенны и заметно отличаются по логической структуре. В этом случае имеет место ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода КОРТы обычно используются для диагностики специфических трудностей в обучении.  Существенной особенностью КОРТов является то, что в них индивидуальные различия сводятся к минимуму (они влияют на длительность усвоения, а не на конечный результат). Поэтому КОРТы лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует и, исходя из этого, как считают Л.Ф.Бурлачук и С.М.Морозов, необходимо обращаться к оценкам, ориентированным на нормы. Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в КОРТах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые (А.Анастази, 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим. А.Анастази (1982) правомерно считает, что акцент КОРТов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели.  Критериально-ориентированное тестирование (КОРТ) – новое направление в отечественной психодиагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для построения заданий в КОРТ используется материал учебных программ. Из него отбираются учебные задания, отвечающие определенным требованиям: они должны репрезентировать внутренне завершенную область какого-то учебного предмета; должны быть представлены как логические последовательности умственных действий, приводящих к его выполнению; задания при их выполнении должны вводить в мышление учащихся новые термины, понятия, ситуации и способствовать установлению связей и отношений между ними и тем, что уже было усвоено ранее. Такие задания называют ключевыми. Овладение содержанием ключевого задания выступает в КОРТ в качестве критерия умственного развития учащихся в той специфической области, к которой принадлежит это задание; уровень развития тем выше, чем полнее овладевают учащиеся его содержанием. Сложились два вида критериев. Первый – критерий как показатель учебных достижений. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, полученные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий. Второй вид – критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испытания методиками КОРТ при их сравнении с критерием дадут информацию о том, имеются ли в мышлении учащегося необходимые для усвоения новых разделов программы умственные действия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий. При анализе этой информации нужно считаться с тем, что уровень умственного развития учащихся может выявить недочеты логико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала. По отношению к отдельным учащимся полученная с помощью методик КОРТ информация после ее психологического анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на их приближение к критерию. КОРТ своими содержательными и структурными характеристиками соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. С помощью методик КОРТ учителя и психологи могут выявить объективные показатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школьной программы. Анализ выполнения теста позволяет локализовать и раскрыть недотатки и пробелы в логико-психологической и учебной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. КОРТ может выступить как один из компонентов обратной связи в функционировании системы образования. Применение методик КОРТ позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. Не случайно первый опыт разработки методик КОРТ в нашей стране был вызван необходимостью углубленного психологического анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и приемов мыслительной деятельности в конкретных областях предметного содержания.Получившая развитие в США и других странах практика разработки методик КОРТ, традиционно ориентируясь на концепцию критерия как определенного континуума знаний, навыков, специфических операций, оставила без должного внимания изучение психологических предпосылок, обеспечивающих выполнение критериального задания. Преодолению этих тенденций служат модели разработки методик КОРТ, в которых воплощено психологическое содержание, выделены основные требования к умственному развитию учащихся. Психологическое содержание методик КОРТ определяется не только их особой направленностью – обращенностью теста на контроль и оценку умственного развития. КОРТы исследуют умственные действия, опосредующие выполнение учащимися учебных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то носят самый общий характер – это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержательных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе специально организованных наблюдений за учащимися, когда они выполняют задание.  Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, спецификация вместе с тем определяет границы той области содержания, к которой тест относится. Независимо от того, на каком предметном содержании разрабатываются методики КОРТ или какие частные принципы положены в основу их конструирования, спецификация теста всегда включает в себя:

1. содержательный анализ критериальной задачи, описание ее возможных форм, семантических особенностей и т.д.; 

2. систематизированную каталогизацию знаний, умений, навыков, обеспечивающих выполнение критериальной задачи;

3. образцы тестовых заданий и описание стратегии их конструирования.

В спецификацию могут быть также включены в качестве приложения описание внешних показателей критериального поведения, варианты тестовых заданий для разных выборок испытуемых, описание возможных альтернативных ответов на тестовые задания с их психологическим анализом и др.  Спецификация теста задает основу для установления содержательного соответствия тестовых заданий реальным учебным задачам. Ее основное значение в том, что она позволяет в содержательном и операциональном планах оценить, что действительно означает выполнение теста по отношению к критериальной области поведения.  Для того чтобы показать, как проводится спецификация, обратимся к уже имеющемуся опыту разработки методик КОРТ, диагностирующих математическое мышление. Тест, о котором пойдет речь, был разработан Е.И.Горбачевой на материале математики (6-й класс общеобразовательной школы) и был направлен на выявление умственных действий, опосредующих умение составлять уравнения по условиям тестовых задач. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте задание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математических знаний и умений. В 5-6 классах это умение только формируется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения.  Подготавливая спецификацию теста, прежде всего нужно раскрыть критериальное значение исследуемого содержания. Для указанного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как условие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, конечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами является конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве содержательной основы умственных действий. Ориентация на знаковую модель, которая является результатом мыслительного преобразования текстовой математической задачи, выступает, таким образом, как критерий формирования умственных действий. Он и закладывается в данный тест. Составление уравнения по условиям текстовых задач предполагает, что учащийся владеет такими умственными действиями:

1. анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);

2. устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием;

3) разбивает задачи на классы по существенному основанию – типу отношений между величинами; 4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами. Выявленная совокупность умственных действий составляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте Е.И.Горбачевой таких субтестов четыре (по числу обозначенных действий): "Выделение существенного", "Четвертый лишний", "Найди подобную", "Установление тождества". Они актуализируют соответственно следующую систему умственных операций: 1) анализ; 2) классификация; 3) аналогия; 4) установление тождества. Разработчик теста должен быть уверен, что в тест войдет материал, который репрезентативен для исследуемого учебного содержания. С этой целью производится каталогизация тестовых задач. В тесте Е.И.Горбачевой она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании, типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удельный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, представленные в учебной программе. При разработке КОРТа тексты отобранных задач были несколько изменены, что связано с включением в условия стимульного материала: вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно математическому содержанию задач данные осуществляли функцию "шума", предназначенного "маскировать" отношения между величинами. Образцы заданий всех четырех субтестов данного КОРТа с указанием содержательных показателей их выполнения. Субтест "Выделение существенного". В него входят задания такого типа. "Установи, какое из выделенных (А, Б, В, Г) условий является существенным в определении характера уравнения, которое следует составить к данной задаче. Заказ по выпуску машин завод должен был выполнить за 15 дней (А), но уже за два дня до срока (Б) завод не только выполнил план, но и выпустилсверх плана еще 6 машин (В), так как ежедневно выпускал по 2 машины сверх плана (Г). Сколько машин должен был выпустить завод по плану?" Правильное выполнение задания предполагает, что учащийся ориентируется на условие, указывающее на отношение между величинами (условие В): "Объем выпущенной сверх плана продукции на 6 машин больше планового объема". Данное условие является "ключевым" в выявлении характера уравнения, тогда как условия А, Б, Г, хотя и содержат в себе определенную математическую информацию, определяют лишь вид отдельных алгебраических выражений, но не уравнения в целом. Субтест "Четвертый лишний". Включает задания следующего типа. "Даны четыре задачи; три – одного вида, одна – другого, т.е. лишняя, относится к задачам другого вида. Определи, какая из задач (А, Б, В, Г) является лишней. А. Бригада трактористов намечала ежедневно вспахивать по 60 га. Однако план вспашки перевыполнялся ежедневно на 25%, а поэтому пахота была закончена за день до срока. Определите, за сколько дней было вспахано поле. Б. По плану колхоз должен был засевать по 25 га в день. Но колхозники смогли увеличить данную норму на 5 га и закончили сев на три дня раньше срока. Какова площадь поля? В. Расстояние между двумя станциями электропоезд проходит за 1,2 часа. Из-за ремонта пути поезд уменьшил свою скорость на 20% и прошел это расстояние за 1,5 часа. Найдите первоначальную скорость поезда. Г. Два звена собрали со своих участков 8840 ц кукурузы, причем 1-е звено получило в среднем с га по 150 ц, а 2-е – по 108 ц. Участок 2-го звена был на 35% больше участка 1-го звена. Определите площадь участка 1-го звена." При выполнении задания существенным является то, что учащийся сопоставляет и объединяет задачи на основе общности типа отношений между величинами (лишняя в ряду задач – задача Г). Общность сюжета (работа в колхозе – задачи А, Б, Г), сходство отдельных деталей (зависимость между значениями величин задается в форме процентного соотношения – задачи А, Б, Г) не являются достаточными основаниями для заключения о том, что задачи относятся к одному и тому же виду. Субтест "Найти подобную". В него входят задания такого типа. "Найти задачу, подобную данной: найти три последовательных нечетных числа, сумма которых равна 81. А. Шнур разрезали на три части, причем первая часть в 2 раза больше второй и третьей в отдельности. Чему равна длина каждой из трех частей, если известно, что вторая часть меньше первой на 81 см? Б. Сумма двух чисел равна 81. Если одно из них увеличить в два раза, то сумма полученных чисел будет равна 136. Чему равно каждое из двух чисел? В. Сумма углов треугольника равна 180 градусам. Величины углов относятся как числа 3, 4 и 5. Найти углы треугольника. Г. Найдите два числа, сумма которых равна 132, если 1/5 одного числа равняется 1/6 другого." Существенным при актуализации действия нахождения аналогии является ориентация на подобие знаковых моделей рассматриваемых задач (задача В). Нахождение аналогии на основе сходства числовых данных (задача А), отдельных лексических единиц условия заданной ситуации (Б), аналогичных синтаксических организаций (Г) свидетельствует о том, что учащийся представленным в субтесте умственным действием не владеет. Субтест "Установление тождества". В него входят задания такого вида. "Какая из составленных задач соответствует уравнению вида 6х – х = 25? А. Витя задумал два числа. Их частное равно 6, а разность – 25. Какие числа задумал Витя? Б. Мама испекла 25 пирожков с малиной и яблоками. С малиной пирожков было в 6 раз больше. Сколько пирожков было с яблоками? В. В одной комнате в 6 раз больше людей, чем во второй. После того как из первой комнаты 25 человек перешли во вторую, в обеих комнатах людей стало поровну. Сколько людей было в каждой комнате первоначально? Г. После того как в первую неделю израсходовали 1/6 всего имеющегося угля, на складе осталось 25 т угля. Сколько всего угля было на складе?" Показателем того, что ученик владеет представленным в субтесте умственным действием, является сопоставление уравнения и условия задачной ситуации на основе заданного в тексте-описании и фиксируемого уравнением типа отношений между величинами (задача А). Успешность выполнения каждого задания оценивается по двоичной системе: 1 соответствует правильному выполнению, 0 – неправильному или отказу от решения. Когда спецификация составлена, подготовленные материалы КОРТ подлежат проверке. Разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих выполнение учебных заданий, был верен и каждое из умственных действий имеет свое собственное логическое содержание. Эта задача решается путем сопоставления результатов по отдельным субтестам КОРТа (при сопоставлении выполнения субтестов КОРТа, а также методики в целом с другими тестами обычно используют Ф-коэффициент – коэффициент Пирсона для дихотомических данных). Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь. Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и представительных выборок учебных контрольных заданий (КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д. Если анализ логического состава умения верен и владение совокупностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных заданий, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по КОРТу, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТом, с ними не справятся. Проверка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ. Сопоставление методик КОРТ и КЗ не ограничивается рассмотрением коэффициентов корреляции, поскольку этот коэффициент не говорит о причинах совпадений или расхождений. Возникает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами. Специальному анализу подлежат также данные учащихся, которые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Правомерно предположить, что успех выполнения КЗ здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которыми они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулированием условия задания, с перестройкой умственных действий для решения задания. Анализ рассогласований в выполнении методик КОРТ и КЗ позволяет исследователю выявить присущие учащимся способы выполнения заданий и оценить, насколько эти способы отвечают задачам умственного развития в определенной области (скажем, в области математики).  Современная психологическая диагностика располагает достаточно большим арсеналом методик для оценки сформированности математического, лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления. Вместе с тем до недавнего времени отсутствовали методики диагностики сформированности естественнонаучного мышления, что обусловлено неразработанностью специфики этой проблемы. Естественнонаучное мышление связано с ориентацией не на жесткие алгоритмы мыслительной деятельности, а на предписания алгоритмического и эвристического типов. В связи с этим для диагностики сформированности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качественными заданиями в естествознании (в отличие от расчетных, экспериментальных и графических задач) называются задания, которые решаются логическим способом. При их решении не требуется никаких вычислений, определяются только качественные зависимости между объектами. Качественная форма проблемной ситуации в наибольшей степени соответствует реальной ситуации научного поиска.  В традиционных методиках диагностики мышления используются преимущественно задания алгоритмического характера. При этом оценка сформированности у учащихся отдельных умственных действий, и прежде всего действия обобщения, основывается на предположении о том, что, усвоив определенно правило, определенный алгоритм, учащийся может безошибочно решить задачу. Соответственно подобные методики фактически диагностируют специфику математического мышления и сформированность определенных умений. В противоположность этому использование нестандартных качественных задач ориентировано на диагностику сформированности продуктивного, творческого мышления. Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. Диагностика процесса мышления на микроуровне направлена на исследование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выявление тем самым реального процесса мышления в его индивидуальном варианте. Диагностика мыслительного процесса на макроуровне предполагает анализ сформированности его отдельных стадий и определения, таким образом, индивидуальных моделей развития мышления. Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформированности действия теоретического обобщения. И та и другая диагностика связаны с оценкой промежуточных результатов в развитии мышления. Диагностируя мышление как процесс, мы фиксируем его отдельные результаты в определенных точках временной шкалы. Сформированность теоретического обобщения определяется качеством его выполнения (правильность выполнения задания) и его устойчивостью (переход от абстрактного к конкретному выполняется для различных типов связей). Это означает, что ребенок может устойчиво выделять общее и особенное в различных ситуациях. В количественном аспекте коэффициент сформированности действия теоретического обобщения (К_о) на каждой из стадий может определяться как отношение количества решенных задач (О) к общему числу задач (S), т.е. К_о = О/S. Определение коэффициента сформированности действия теоретического обобщения не предполагает суммирования правильно решенных задач по отдельным стадиям, т.к. каждая из них будет связана со своим "масштабом" развития.  Выделяют две стадии сформированности теоретического естественнонаучного мышления: дифференциально-синтетическую (в основе лежат внепредметные теоретические обобщения) и синтетическую (в основе лежат межпредметные теоретические обобщения). Эти стадии различаются по уровню теоретического обобщения. Однако это различие связано не просто с объемом материала, на базе которого осуществляется обобщение, но с качественным своеобразием данного обобщения и, в частности, с ориентацией на всеобщее, а не на особенное отношение. В то же время современное естественнонаучное образование не ориентировано на формирование у учащихся интегративного способа мышления. Теоретическое естественнонаучное мышление формируется как дифференциально-синтетическое (физическое, химическое, биологическое) на основе внутрипредметных обобщений с ориентацией на особенные для каждой естественной науки сущности. При этом фактически игнорируется основополагающая роль теоретических обобщений как психологической базы установления связи между научными понятиями. В рамках эмпирического типа мышления могут быть выделены эмпирически-бытовая и эмпирически-научная стадии. Для первой характерна апелляция учащихся к своим донаучным представлениям, стремление решить задачу на бытовом уровне. Отличительная особенность данного способа мышления – ребенок ищет путь решения задачи в области бытовых представлений и понятий и не делает какой-либо попытки научного анализа условий задачи. Эмпирически-научный способ мышления характеризуется тем, что ребенок делает попытку научного анализа решения задачи, но ориентируется лишь на конкретные условия взаимодействия материальных объектов. В процессе решения он использует те или иные естественнонаучные законы, но поскольку их поиск носит эмпирический характер, то ответ, как правило, неверен. Данный подход отличает ориентация лишь на конкретные условия задачи, хотя и делается попытка их научного анализа.  Для эмпирического типа мышления существенно то, что учащиеся, зная естественнонаучные законы, лежащие в основе решения задач, не могут "увидеть" их в предложенных конкретных условиях. Соответственно не может быть сделан вывод о том, что высшей стадией сформированности естественнонаучного мышления является синтетическая стадия, связанная со сформированностью у учащихся интегративного способа мышления, основанного на межпредметных теоретических обобщениях за счет становления более высокой формы теоретического синтеза – внешнего (междисциплинарного), выступающего как психическое новообразование подросткового возраста.  Из всего сказанного ясно, что методики диагностики естественнонаучного мышления непременно должны учитывать его специфику, связанную с особенностями процесса теоретического естественнонаучного обобщения и стадиями развития данного вида мышления.  В рамках КОРТ разработаны (Г.А.Берулава, 1992) тесты диагностики естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8). Они включают в себя систему заданий – родовые задачи, каждой из которых соответствует класс индивидуальных задач. Все задачи качественного характера.  При определении содержательной валидности тест должен ориентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. Существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов. Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Каждый из них содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, являющихся для усвоения учебного материала в 7 и 8 классах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три – на межпредметном материале (биологии и физики в 7 классе, биологии, физики и химии – в 8). Каждый тест содержит два субтеста, один из которых диагностирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй – синтетической.  Примеры заданий из дифференциально-синтетического субтеста ТЕМ-7. Задание. "Почему нельзя тушить горящий керосин, заливая его водой? а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии; в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина." Варианты ответов для задания субтеста (их по три в каждой задаче) позволяют диагностировать преимущественный способ мышления учащегося: эмпирически-бытовой (ему в данном задании соответствует 1-й вариант ответа), эмпирически-научный (2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления. Аналогичную структуру имеют задания синтетического субтеста. Задание. "Почему кит, оказавшись на мели, погибает? а) сила трения, имеющаяся на твердой почве, мешает ему добраться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталкивающая сила отсутствует, и кит погибает под действием собственного веса." В основе решения данной задачи лежит закон Архимеда, в то же время она построена на нехарактерном для курса физики биологическом материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному – 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления – 3-й вариант ответа. При разработке структуры ТЕМ-8 был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативными для естественнонаучного познания учащихся 8 класса. Примеры заданий дифференциально-синтетического субтеста ТЕМ-8, имеющих структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7. Задание. "Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой? а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлышка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому пробку легче вынуть из бутылки." 2-й вариант ответа соответствует эмпирически-бытовому способу мышления, 3-й – эмпирически-научному. 1-й вариант ответа характеризует теоретический способ мышления (его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон применяется в условиях, адекватных материалу, используемому в курсах биологии и химии. Задание. "Почему пораженные током живые организмы погибают? а) потому что ток убивает клетки живых организмов; б) при прохождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках живых организмов происходят необратимые химические реакции." С использованием материала курса химии закон сохранения и превращения энергии реализован, например, в задаче следующего содержания. Задание. "Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой? а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие чего выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических зарядов цинка и серной кислоты." Структура теста позволяет оценить сформированность процесса теоретического обобщения. Это обеспечивается тем, что каждому естественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона. Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода. При этом учитывали, что жесткая статистическая оценка трудности задач для критериальных исследований неприемлема.  Тесты прошли формальную проверку на надежность и валидность. Ретестовая надежность определялась повторным тестированием через 3,5 месяца (данный интервал приходится на летние каникулы учащихся). Коэффициент ранговой корреляции для ТЕМ-7 равнялся для дифференциально-синтетического теста 0,93, для синтетического – 0,92. Для ТЕМ-8 эти значения соответственно для дифференциально-синтетического субтеста – 0,89, для синтетического – 0,91. Значимость на уровне 0,01. Надежность тестов проверялась также путем определения их гомогенности. С этой целью каждый субтест был разделен на три части (по 5 заданий в каждой). Надежность оценивалась посредством вычисления интеркорреляций выделенных частей с применением формулы Кьюдера-Ричардсона. При этом коэффициенты корреляций располагались в пределах от 0,95 до 0,98. Валидность тестов определялась сравнением успешности выполнения их заданий со школьными оценками за самостоятельные работы по решению естественнонаучных задач. При этом для определения валидности дифференциально-синтетического субтеста использовались оценки за решение физических задач. Валидность синтетического субтеста оценивалась по результатам выполнения задач межпредметного характера. Коэффициенты корреляций для ТЕМ-7 были следующие: для дифференциально-синтетического субтеста – 0,72, для синтетического – 0, 70; для ТЕМ-8 : для дифференциально-синтетического – 0,74, для синтетического – 0, 69. Значимость на уровне 0,01. Корреляция ТЕМ-7 с субтестом "Обобщение" из теста ШТУР составила 0,69 для дифференциально-синтетического субтеста и 0,67 – для синтетического. Для ТЕМ-8 эти значения были следующие: для дифференциально-синтетического субтеста – 0,68, для синтетического – 0,65. Полученные данные позволяют сделать вывод о том, что разработанные тесты удовлетворяют необходимым статистическим критериям. Диагностика сформированности естественнонаучного мышления с помощью разработанных тестов создает возможность не только определить тип естественнонаучного мышления (эмпирический или теоретический), но и стадию его сформированности. В рамках эмпирического типа – это эмпирически-бытовая и эмпирически-научная стадии. Разработанный тест является групповым. Время для решения всего теста – 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценивается 1 баллом. Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у учащихся, и произвести в этом плане целенаправленную коррекцию. Итак, КОРТ представляет собой диагностический инструмент, для которого характерны особые способы конструирования, применения и обработки. Возникает вопрос, в какой мере к КОРТу могут быть приложены статистические методы установления надежности и валидности, утвердившиеся в практике тестирования, ориентированного на норму. Так, в качестве одного из распространенных способов предлагается установление т.н. ретестовой надежности.  КОРТы своими содержательными и структурными характеристиками соответствуют конкретной ситуации обучения и выступают в качестве оперативного средства контроля и оценки его результатов. Ограничения, связанные с получением высокого коэффициента ретестовой надежности (в частности, влияние обучения на повторное тестирование, изменения в понятийном и логическом развитии ученика и т.п.), не могут не проявиться в ситуации КОРТ. Так, результаты в КОРТе у учащихся, не прошедших определенный этап обучения, будут значительно отличаться от тестовых результатов этих же учащихся после овладения ими рассматриваемым учебным материалом. Можно ли к КОРТу предъявить высокие требования внутренней согласованности? Действительно в ряде случаев задания КОРТа представляют собой гомогенную выборку, содержательно и функционально соответствующую определенным компонентам учебной деятельности. Но требования внутренней согласованности едва ли выполнимы, когда тест моделирует структуру умственных действий или навыков, каждый из которых имеет свое особенное содержание и форму проявления в реальной учебной деятельности. В этом случае индекс внутренней согласованности может быть нулевым и даже отрицательным, а тест тем не менее оказаться хорошим. Установление содержательного и структурного соответствия заданий теста и реального учебного задания выступает как решающий этап разработки КОРТа. При этом учебные задания приобретают новый статус. По отношению к КОРТу они не являются тем обезличенным внешним критерием, который используется в традиционном тестировании для валидации. КОРТ снимает проблему валидности в ее традиционном понимании, т.к. в основе его конструирования лежат процедуры, связанные с предварительным отбором содержания, внутренне связанного с критериальным заданием. Таким образом, акценты перемещаются с поиска post factum валидности на анализ реального совпадения заранее установленных логико-психологических показателей КОРТа и результатов учебной деятельности.