Требования к пользователям:

1. знание и практическое применение общих теоретико-методологических принципов; владение основами дифферен­циальной психометрии; анализ психодиагностической литера­туры; создание банка информационных данных и банка тесто­вых средств;

2. ответственность за решения, принимаемые на основе те­стовых данных, за обеспечение соответствия репрезентативно­сти и прогностической валидности методики;

3. обеспечение необходимого уровня надежности диагноза с применением параллельного тестирования или экспертной оценки;

4. разработка тестовой батареи на основе наибольшей эф­фективности диагностики — максимум надежности при мини­муме затрат;

5. проведение научно-исследовательской работы по совер­шенствованию методик в заданной области;

6. соблюдение требований стандартизации методов, подсче­та баллов, интерпретации данных, прогноза профпригодности;

7. корректное использование и распространение методи­ческих средств психодиагностики;

8. обеспечение конфиденциальности психодиагностической информации, полученной от испытуемого на основе личного доверия;

9. выполнение требований по охране авторских прав разра­ботчиков психодиагностических методик.

Перечисленные требования носят рекомендательный харак­тер и, к великому сожалению, по сей день в России не приобре­ли еще статуса нормативных правовых актов, которые в настоя­щее время законодательно регулируют психодиагностическую деятельность исследователей, например, в США*. Они полнос­тью основываются на нравственно-этических качествах психо­логов. И поэтому моральная ответственность каждого исследо­вателя, психолога-практика за чистоту психологического экспе­римента над живыми людьми очень велика. Многие психологи в организациях и учреждениях влияют на решение кадровых воп­росов, к их советам прислушиваются в процессе консультаций или психотерапии. Во всех случаях основной принцип «не на­вреди» в сознании каждого психолога должен быть возведен в ранг закона практической деятельности, а профессиональные решения должны пропускаться через его совесть.

* См.: Анастази А., Урбина С. Психологическое тестирование. — СПб.: Питер, 2001. - С. 583-608.

3.3. Проблемы объективности психодиагностической информации

Объективность психодиагностики вообще и тестовых пока­зателей в частности достигается путем неуклонного соблюде­ния психологом критериев достоверности психодиагностичес­кого измерения, а также путем приобретения опыта получения, использования и интерпретации полученных данных.

Достоверность психодиагностического измерения опреде­ляется валидностью (соответствием тестовых данных измеряе­мому свойству), надежностью (точностью психодиагностичес­ких измерений) и прогностичностью (предположением о раз­витии измеренного свойства) применяемых психологических методик (тестов).

Валидность тестов

Валидностью как элементом достоверности психодиагнос­тического измерения свойств субъекта называется мера соот­ветствия тестовых оценок представлениям о сущности свойств или их роли в той или иной деятельности человека. В теории психометрии определяют два основных типа и по крайней мере одиннадцать видов валидности методик (см. рис. 7).

Рис. 7. Структура валидности

Различают два типа валидности — внешнюю и внутреннюю*. Внешняя валидность есть мера возможности распространения результатов тестирования на генеральную совокупность**. Вне­шняя валидизация осуществляется путем расчета репрезента­тивности экспериментальной выборки при отработке теста и перекрестной валидизации, то есть определения валидности теста на выборке, отличающейся от той, на которой отрабаты­вался стимульный материал и задания к тесту.

* См.: Анастази А., Урбина С. Психологическое тестирование. — СПб., 2001.— С. 133-193.

** Там же.

Репрезентативность выборки — это представительность эк­спериментальной выборки, которая отражает основные свой­ства генеральной совокупности. Репрезентативность опреде­ляется путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристи­ками исследуемой популяции с целью определения их одно­родности.

К качественным характеристикам могут быть отнесены со­циально-демографические, видовые, интеллектуальные (обра­зовательные), профессиональные и другие характеристики по­пуляции (группы), которые являются предметом исследования или существенно влияют на него.

Количественная характеристика экспериментальной груп­пы — это минимальная ее численность, сохраняющая свойства генеральной совокупности. Формирование репрезентативной выборки по количественному признаку осуществляется при помощи теоремы П. А. Чебышева о вероятности ошибки реп­резентативности, которая гласит: «С вероятностью сколь угод­но близкой к единице можно утверждать, что при достаточно большом числе независимых наблюдений выборочная средняя будет сколь угодно мало отличаться от генеральной средней» и далее (следствие 1 из теоремы П. А. Чебышева) «...что с вероят­ностью, как угодно близкой к единице («практически досто­верно»), выборочная доля будет как угодно мало отличаться от генеральной доли, если объем выборки достаточно велик»*.

* Карасев А.И. Основы математической статистики. — М.: Росвузиздат, 1962. — С. 172.

В психологической литературе существует несколько тео­ретических подходов к расчету объема минимально репрезен­тативной выборки*. Часто приводятся таблицы опытно полу­ченных данных**. Так, С. Москвин отмечает, что при объемах генеральной совокупности 400, 500, 1000, 2000, 5000, 10000 и более 10 тыс. человек минимальная выборка составляет соот­ветственно 200, 222, 286, 333, 370, 398 и 400 испытуемых (указ. публ., с. 28). Г. Лоза указывает на следующее соотношение ге­неральной совокупности и объема экспериментальной выбор­ки при проведении социологических исследований 100/16-17 чел., 300/50 чел., 1000/100 чел. и 5000/200 испытуемых. В лек­ции А. Гончарова минимальная репрезентативная выборка от­носительно генеральной совокупности соответственно состав­ляет: 500/222, 1000/286, 2000/333, 3000/350, 4000/360, 5000/370, 10 000/385, 100 000/398 и более 100 000 - 400 респондентов.

* Введение в профессию. — М.: Воениздат, 1992; Карасев А.И. Основы математи­ческой статистики. — М.: Росвузиздат, 1962; Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. — СПб.: Питер-Ком, 1999 и др.

** Введение в профессию. — М.: Воениздат, 1992; Москвин С. Выборка в социоло­гическом исследовании // Военно-социологическое исследование, 1993. С. 27-30; Гон­чаров А.И. Методы изучения общественного мнения и социальной информации (Лек­ция). - М.: ГА ВС, 1993.

В ходе анализа психологических данных для расчета объема минимальной репрезентативной выборки используются следу­ющие формулы:

1) формула расчета объема минимальной репрезентативной выборки* при нахождении доли элементов генеральной сово­купности, обладающих некоторым признаком (номинальная измерительная шкала):

* Карасев А.И. Основы математической статистики. — М.: Росвузиздат, 1962. — С. 213.

2) формула расчета объема минимальной репрезентативной выборки* при нахождении средней признака (интервальная измерительная шкала):

*Там же, с. 212.

3) формула расчета объема минимальной репрезентативной выборки*:

где n— объем минимальной репрезентативной выборки испы­туемых;

t — коэффициент кратности ошибки, связанный с вероят­ностью гарантии ошибки выборочного наблюдения (вели­чина t-критерия Стъюдента);

δ — величина стандартного отклонения;

D — размер ошибки доверительного интервала измерения признаков;

N — объем генеральной совокупности;

p — частота проявления данного признака;

q = 1 - р.

* Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. -СПб.: Питер-Ком, 1999. - С. 64-65.

Практическое задание. Рассчитать объем минимально-реп­резентативной выборки испытуемых, если объем генеральной совокупности 5000 чел., а вероятность проявления исследуе­мого признака («угадывания» при помощи теста) — 0.8.

Дано: t — коэффициент кратности ошибки, связанный с вероятностью (Pt), с которой требуется гарантировать резуль­таты выборочного наблюдения; D — размер ошибки довери­тельного интервала измерения признаков = 0,05; N — объем генеральной совокупности = 5000; р — частота проявления дан­ного признака = 0.8; q = 1 — р = 0.2.

Определить: n — минимально необходимую численность экспериментальной выборки.

Ответ: n = 235.

Вывод: При повышении достоверности измерений проис­ходит заметное уменьшение объема минимально репрезента­тивной выборки. Аналогичное влияние отказывает точность измерений (D).

Перекрестная валидизация производится путем апроба­ции теста на выборке, отличной от экспериментальной. Пе­рекрестная валидизация осуществляется для того, чтобы оп­ределить границы применения методики по критерию «ха­рактеристика популяции» (для определения уровня развития свойства у детей, подростков, мужчин-женщин, определен­ной группы специалистов и т. д.). В ходе перекрестной валидизации рассчитываются коэффициенты корреляции между одними и теми же показателями, полученными в результате тестирования разных групп испытуемых. Вывод о возмож­ности применения теста на данной популяции делается при помощи параметрических критериев (t-критерий Стъюдента, n — критерий Уэлша).

Практическое задание. Рассчитать объем эксперименталь­ной выборки по критерию обучаемости испытуемых (приме­нялся тест ОСО*).

* ОСО — тест «Оценка общей способности к обучению».

Дано:

Группа 1 (школьники 9-го класса — 15 лет):

Количество испытуемых n = 471

Среднее значение показателя Мх = 3.75

Среднеквадратическое отклонение δ = 1.4

Группа 2 (школьники 10-го класса — 16 лет):

Количество испытуемых n =178

Среднее значение показателя Мх = 3.66

Среднеквадратическое отклонение δ = 0.8

Группа 3 (курсанты училища связи — 18 лет):

Количество испытуемых n=104

Среднее значение показателя Мх = 3.20

Среднеквадратическое отклонение δ=1.1

Решение: Для расчетов используется формула t-критерия:

* Экспериментальные выборки значимо не различаются на уровне р≤0.05.

** Экспериментальные выборки значимо различаются на уровне р≤0.05.

Вывод: в результате расчетов выявлено значимое различие показателей обучаемости между первой и третьей и между вто­рой и третьей исследованными группами, которые не могут счи­таться однородными и составлять единую совокупность. Толь­ко между первой и второй выборками по данному критерию не существует значимых различий (р<0.05). В целях проверки валидности первую и вторую группы можно объединить в одну экспериментальную выборку и считать единой популяцией в количестве 649 человек.

Уяснив содержание внешней валидности методик, перейдем к рассмотрению аспектов внутренней валидности.

Внутренняя валидность — это мера соответствия тестовых оценок уровню развития измеряемого свойства. Она состоит по крайней мере из пяти элементов:

а) концептуальная (теоретическая) валидность — теорети­ческое обоснование возможности измерения исследуемого свойства данным психодиагностическим средством;

б) содержательная валидность — степень репрезентативно­сти содержания заданий теста измеряемой области психичес­ких свойств;

в) конструктная валидность — степень репрезентативности исследуемого психологического конструкта в результатах теста («насколько результаты теста рассматриваются в качестве меры исследуемого психологического конструкта — фактора, свой­ства»)*

г) операционная валидность — степень репрезентативнос­ти в конкретных экспериментальных операциях реальных опе­рациональных условий психической деятельности;

д) эмпирическая валидность — совокупность характеристик валидности теста, полученная сравнительным статистическим способом оценивания. К этим характеристикам относятся так называемые очевидная и критериальная виды валидности.

* Анастази А. Психологическое тестирование. В 2-х книгах. — М.: Педагогика. Т 1. С. 140.

Очевидная валидность — это представление о тесте, сфере его применения, результативности и прогностической ценно­сти, которое возникает у испытуемого и другого лица, не рас­полагающего специальными сведениями о характере исполь­зования и целях методики.

Критериальная валидность — комплекс характеристик, включающий текущую и прогностическую валидности методи­ки и отражающий соответствие диагноза и прогноза определен­ному кругу критериев развития измеряемого свойства. Крите­риальная валидность оценивается величиной связи, корреля­ции показателя теста с «внешним критерием».

Эмпирическая валидность измеряется при помощи коэффи­циентов валидности.

Текущая [диагностическая (конкурентная)] валидность* мера способности теста дифференцировать испытуемых по изу­чаемому признаку. Текущая валидность теста определяется ис­ходя из его «трудности» и мер изменчивости измеряемого при­знака.

* Текущая, диагностическая и конкурентная валидности здесь употребляются как синонимы.

Трудностью теста называется отношение количества решен­ных заданий методик к нерешенным заданиям*. Уровень труд­ности характеризуется коэффициентом трудности (Тт), кото­рый вычисляется по формулам А и Б.

* Анастази А. Психологическое тестирование. В 2-х книгах. — М.: Педагогика. Т. 1.С. 180-182.

где Np— количество решенных заданий теста; Nh — количе­ство нерешенных заданий теста.

Оптимальная «трудность теста», рассчитанная с помощью формулы А, должна колебаться в пределах 50%, однако, как признают многие психологи, достичь такого положения край­не затруднительно. На практике критериальная «трудность» рассчитывается для всей тестовой батареи и уже ее значение должно колебаться в пределах 50%, а «трудность» входящих в нее тестов - находиться в пределах «умеренного разброса». Видимо, этот «умеренный разброс» находится в пределах d, то есть ± 16%. (Следует также учитывать 5%-ю ошибку вычисле­ний.)

где δ — стандартное отклонение, которое вычисляется по фор­муле:

Трудность теста, рассчитанного по формуле (Б), находится в пределах от 1 до 25 (цифры 13 и 4 выбраны экспериментально в целях исключения отрицательных и дробных показателей и удобства расчетов). Средняя трудность теста имеет значение 13.

Практическое задание. Рассчитать трудность тестовой бата­реи, состоящей из двух субтестов.

Решение:

К мерам изменчивости измеряемых признаков, как прави­ло, относят характеристики распределения эмпирических дан­ных (нормальность распределения) и характеристики вариации признаков.

Нормальность распределения данных определяет числен­ную характеристику дифференциации испытуемых. Она вычис­ляется при помощи критерия Хи-квадрат Пирсона, а также с использованием коэффициентов асимметрии и эксцесса рас­пределения переменных.

Ширина полосы разброса данных по шкале измерений от min до max; это характеристика вариации признаков. Простей­шими измерителями вариации признаков являются размах ва­риации R (это разность между наибольшим и наименьшим зна­чениями признаков, то есть R = x_max — x_mjn) и дискриминатив-ность заданий — субтестов (способность отдельных пунктов (заданий) теста дифференцировать обследуемых относительно «максимального» или «минимального» результата теста). Мера соответствия успешности выполнения одного субтеста всей методике является показателем дискриминативности заданий теста и называется коэффициентом дискриминации (индексом дискриминативности). Индекс дискриминативности теста рас­считывается в процессе разработки тестов и тестовой батареи. Он вычисляется при помощи а) точечно-биссериального ко­эффициента корреляции (Rpb) (см. выше) и б) метода контрас­тных групп в виде разности между долей лиц, правильно ре­шивших задание из «высокопродуктивной» и «низкопродуктив­ной» групп (D)*.

* См. Словарь-справочник по психологической диагностике / Бурлачук Л.Ф., Морозов С.М. - Киев, 1989. - С. 47-48.

Наибольший интерес представляет характер группировки значений признака вокруг их средней. Мерой ее определения являются дисперсия (среднеквадратическое отклонение) и ко­эффициент вариации (V), который определяется как отноше­ние дисперсии (d_x) к среднему (М_х), выраженное в процентах:

Между характеристиками распределения и вариативностью переменных имеется связь, которая предопределяет оптимальное сочетание формы распределения с вариативностью. Большая ва­риативность признаков говорит о том, что распределение ненор­мально, асимметрично и сильно скошено. Малая вариативность показывает, что тест не дифференцирует испытуемых по измеряе­мому признаку (испытуемые отвечают или решают задание оди­наково). При анализе трудности, нормальности распределения и вариативности показателей тестов необходимо соблюдать МЕРУ, которая вырабатывается в процессе накопления опыта диагнос­тической работы и статистической обработки данных.

Прогностическая валидность является элементом содержа­ния достоверности тестов и определяется как степень точнос­ти и обоснованности суждения о диагностируемом психичес­ком свойстве по его результату спустя определенное время после измерения.

Показателем прогностичности теста является степень рег­рессии тестовых данных к объективным критериям. Регрессия представляет собой функцию f (х₁ х₂ х₃, ... х_n), описывающую зависимость среднего показателя теста, измеряющего данное свойство от заданных фиксированных значений реального про­явления этого свойства (внешнего критерия — у). Эта функция может носить линейный и нелинейный характер (линейная рег­рессия: у = b + ах; параболическая зависимость: у = b + ах + сх²; гиперболическая зависимость: у = b + а/х; показательная функция: у = b + а).

В практической психодиагностике для прогноза развития или проявления измеренного свойства чаще применяют линей­ную или множественную линейную регрессию (у = b + а₁ х₁ +а₂ х₂… +а_n х_n). Физический смысл ее заключается в приравнивании зависимой и независимой переменных. Изменение зависимой переменной прямо определяет изменение независимой пере­менной. Коэффициент а показывает угол наклона оси регрес­сии, а свободный член b — отстояние начала оси регрессии от начала координат. Коэффициент корреляции показывает уро­вень прогностичности функции, a R² - уровень объясняемой дисперсии у за счет изменения х. При использовании тестовой батареи прогноз измеряемого свойства осуществляется посред­ством связанных между собой нескольких зависимых переменных (х₁, x₂, x₃,... x_n), которые и формируют множественную ли­нейную регрессию. При использовании множественной линей­ной функции при прогнозе развития измеряемого свойства повышается уровень прогностичности тестирования и его дос­товерность за счет перекрытия разными методиками различных сторон измеряемого свойства.