§ 1. Стандартизація

Діагностична методика відрізняється від будь-дослідної тим, що вона стандартизована. Стандартизація - це однаковість процедури проведення та оцінки виконання тесту. Розглядається вона у двох планах:

♦ як вироблення єдиних вимог до процедури експерименту;

♦ як визначення єдиного критерію оцінки результатів діагностичних випробувань.

Стандартизація процедури експерименту передбачає уніфікацію інструкцій, бланків обстеження, способів реєстрації результатів, умов проведення обстеження.

До числа вимог, яких необхідно дотримуватися при проведенні експерименту, можна, наприклад, віднести такі:

1) інструкції слід повідомляти піддослідним однаковим чином, як правило, письмово; у разі усних вказівок вони даються в різних групах одними і тими ж словами, зрозумілими для всіх, в однаковій манері;

2) ні одному випробуваному не слід давати ніяких переваг перед іншими;

3) у процесі експерименту не слід давати окремим випробуваним додаткові пояснення;

4) експеримент з різними групами слід проводити в однакове, по можливості, час дня, в подібних умовах;

5) тимчасові обмеження у виконанні завдань для всіх випробовуваних повинні бути однаковими і т. д.

Зазвичай автори методики в керівництві приводять точні і докладні інструкції щодо порядку її проведення. Формулювання таких вказівок становить основну частину стандартизації нової методики, так як тільки суворе їх дотримання дає можливість порівняти між собою показники, отримані різними випробуваними.

Іншим найбільш важливим етапом в стандартизації методики є вибір критерію, за яким слід проводити порівняння результатів діагностичних випробувань, оскільки діагностичні методики не мають наперед визначених стандартів успішності або невдачі в їх виконанні.

Так, наприклад, дитина шести років, виконуючи тест розумового розвитку, отримав бал, рівний 117. Добре це чи погано? Часто такий показник зустрічається у дітей даного віку? Кількісний результат як такий нічого не означає. Отриманий дошкільням бал не можна інтерпретувати як показник щодо високого, середнього або низького розвитку, так як це розвиток виражено у заходах, властивих даній методиці, і, таким чином, абсолютного значення отримані результати мати не можуть. Очевидно, потрібно розташовувати точкою відліку і якимись дозованими заходами, щоб з їх допомогою оцінювати отримані при діагностуванні індивідуальні та групові дані. Виникає питання, що за цю точку відліку брати? У традиційному тестуванні така точка видобувається статистичним шляхом - це так звана статистична норма.

У загальних рисах стандартизація діагностичної методики, орієнтованої на норму, здійснюється шляхом її проведення на великій представницької вибірці випробуваних, яка нічим не відрізняється від тієї, для якої дана методика призначена. На цій групі випробуваних, званої вибіркою стандартизації, розробляються норми, що вказують не тільки середній рівень виконання, але і його відносну варіативність вище і нижче середнього рівня. В результаті можна оцінити різні ступені успішності чи неуспішності у виконанні діагностичної проби. Це дозволяє визначити положення конкретного випробуваного щодо вибірки стандартизації [10, т. 1].

Для обчислення статистичної норми психологи-діагности звернулися до давно застосовуються у біології прийомам математичної статистики.

Розглянемо приклад.

На призовний пункт з'явилося кілька тисяч молодих людей.

Припустимо, що всі вони приблизно одного віку. Що ми отримаємо при вимірюванні їх зростання? Зазвичай виявляється, що більшість майже одного зросту, зовсім небагато буде людей дуже маленького і дуже високого зросту. Інші ж розподіляться симетрично, зменшуючись за кількістю від середнього максимуму в ту і іншу сторону. Розподіл розглянутих величин - це нормальний розподіл (або розподіл по нормальному закону, крива розподілу Гауса). Математики показали, що для опису такого розподілу достатньо знати два показники - середню арифметичну і так зване стандартне відхилення, яке виходить шляхом нескладних обчислень. Назвемо середню арифметичну х, а стандартне відхилення σ (сигма мала). При нормальному розподілі всі досліджувані величини практично знаходяться в межах х + 5 σ.

Розглянемо як визначалася статистична норма для тестів Стен-форд-Біне. До групи випробовуваних входили 4498 осіб від 2,5 до 18 років. Зусилля стенфордський психологів були спрямовані на те, щоб розподіл отриманих по кожному віку даних про виконання

тестів було близько до нормального. Цього результату вдалося домогтися далеко не відразу, а в деяких випадках вченим доводилося замінювати одні завдання іншими. Зрештою ця робота була закінчена, і були підготовлені тести з кожному віку з середньою арифметичною, рівної 100, і зі стандартним відхиленням, рівним 16. Приймається, що результати в межах х ± σ показують межі найбільш характерною, представницької частині розподілу, межі норми для даного віку. При σ = 16 і х = 100 ці межі норми будуть від 84 до 116. Інтерпретується це так: результати піддослідних, які не виходять за ці межі, знаходяться в межах норми. Ті, чиї результати менш 84, знаходяться нижче норми, а ті, чиї результати більше 116, - вище норми. Нерідко цей же прийом застосовують і для подальшої класифікації. Тоді результати в межах від х - σ до х - 2 σ інтерпретуються як «дещо нижче норми», а від х - 2 σ до х - З σ - як «значно нижче норми». Відповідно класифікуються результати, що знаходяться вище норми.

Повернемося до результату, отриманого дитиною шести років, про який згадувалося вище. Його успішність по тесту дорівнює 117. Цей результат вище норми, але дуже незначно (верхня межа норми 116).

Крім статистичної норми, основою для порівняння, інтерпретації результатів діагностичних випробувань можуть стати і такі показники, як процентилі.

Процентиль - це процентна частка індивідів з вибірки стандартизації, первинний результат яких нижче даного первинного показника.

Наприклад, якщо 28% людей правильно вирішать не більше 15 завдань в арифметичному тесті, то первинному показником 15 відповідає 28-й процентиль (Р _28). Відсотка вказують на відносне положення індивіда у вибірці стандартизації. Їх також можна розглядати, як рангові градації, загальне число яких дорівнює 100, з тією лише різницею, що при ранжируванні прийнято починати відлік зверху, тобто з кращого члена групи, який отримує ранг 1. У разі ж процентиль відлік ведеться знизу, тому чим нижче процентиль, тим гірше позиція індивіда.

50-й процентиль (Р ₅₀₎ відповідає медіані - одному з показників центральної тенденції. Процентилі понад 50 представляють показники вище середнього, а ті, які лежать нижче 50, - порівняно низькі показники. 25-й і 75-й процентилі відомі також під назвою 1-го і 3-го квартилей, оскільки вони виділяють нижню і верхню чверті розподілу. Як і медіана, вони зручні для опису розподілу показників і порівняння з іншими розподілами [10, т. 1].

Процентилі не слід змішувати зі звичайними процентними показниками. Останні є первинними показниками і являють собою відсоток правильно виконаних завдань, тоді як процентиль - це похідний показник, який вказує на частку від загального числа членів групи. Первинний результат, який нижче будь-якого показника, отриманого у вибірці стандартизації, має нульовий процентільний ранг (Р _о). Результат, що перевищує будь-який показник у вибірці стандартизації, отримує процентільний ранг 100 (Р _100). Ці процентилі, однак, не означають нульового або абсолютного результату виконання тесту.

Процентільние показники мають ряд переваг, зокрема:

♦ їх легко розрахувати і зрозуміти навіть порівняно непідготовленій людині;

♦ їх застосування досить універсально і підходить до будь-якого типу тестів.

Однак недолік процентиль - це істотне нерівність одиниць відліку в тому випадку, коли аналізуються крайні точки розподілу. При використанні процентиль (як уже зазначалося вище) визначається тільки відносне положення індивідуальної оцінки, але не величина відмінностей між окремими показниками.

У психодіагностику існує й інший підхід до оцінки результатів діагностичних випробувань. У нашій країні під керівництвом К. М. Гуревича [35] розробляються тести, в яких як точки відліку виступає не статистична норма, а незалежний від результатів випробування, об'єктивно заданий соціально-психологічний норматив.

Соціально-психологічний норматив реалізується в сукупності завдань, що складають тест. Отже, сам тест в повному його обсязі і є таким нормативом. Всі зіставлення індивідуальних або групових результатів тестування проводяться з тим максимумом, який видається в тесті (а це повний набір знань). Як критерій оцінки виступає показник, який відображає ступінь близькості результатів до нормативу. Є розроблена схема подання групових кількісних даних.

Для аналізу даних щодо їх близькості до соціально-психологічного нормативу, умовно розглядався як 100%-ное виконання всього тесту, всі випробовувані поділяються за результатами тестування на 5 підгруп:

1) найбільш успішні - 10%;

2) близькі до успішних - 20%;

3) середні по успішності - 40%;

4) мало успішні - 20%;

5) найменш успішні - 10%.

Для кожної з підгруп підраховується середній відсоток правильно виконаних завдань. Будується система координат, де по осі абсцис йдуть номери підгруп, по осі ординат - відсоток виконаних кожній з підгруп завдань. Після нанесення відповідних точок викреслюється графік, що відображає наближення кожної з підгруп до соціально-психологічного нормативу. Така обробка проводиться за результатами як тесту в цілому, так і кожного субтеста окремо.

Вибірка стандартизації. При розробці та застосуванні будь-якої точки відліку слід звертати особливу увагу на вибірку досліджуваних, на якій проводиться стандартизація діагностичної методики. У математичній статистиці прийнято розрізняти такі поняття, як генеральна сукупність (популяція) та вибірка.

Будь-яка велика сукупність людей, що хотіли б дослідити або щодо яких збираються робити висновки, називається генеральною сукупністю.

Вибірка - це частина або підмножина сукупності. Проводити дослідження всієї популяції не прийнято. Зазвичай з неї виділяють групу людей - вибірку стандартизації - яка реально піддається тестування, і з її допомогою оцінюється генеральна сукупність. Щоб оцінки носили достовірний характер, вибірка повинна бути репрезентативна, представницька даної популяції, тобто її імовірнісні властивості повинні збігатися або бути близькими до властивостей генеральної сукупності.

А. Анастазі [10, т. 1] наводиться приклад формування репрезентативної вибірки при стандартизації шкали Векслера. Вибірка включала 1700 чоловік з рівною кількістю чоловіків і жінок. Піддослідні у віці від 16 до 64 років були розподілені по семи віковим рівням. При формуванні вибірки дослідники спиралися на дані останнього перепису населення США. Враховувалося пропорційний розподіл населення за географічним районам, приналежність до міського і сільського населення, приналежність до білої або кольорової раси, враховувалися також рівень освіти і професія. На кожному віковому рівні у вибірку були введені один чоловік і одна жінка, які перебувають в установах для розумово відсталих.

На думку А. Анастазі, переважна більшість діагностичних методик стандартизовано не для таких широких популяцій, як багато хто вважає. Важко розраховувати, що по якомусь тесту є адекватні норми для таких великих популяцій, як, наприклад, «дорослі американці-чоловіки» або «американські діти 14-річного віку». Вибірки, орієнтовані на широкі популяції, не завжди репрезентативні і найчастіше бувають зміщені в тих чи інших відносинах (тобто деякі підгрупи популяції можуть бути представлені непропорційно своєї чисельності). Так, якщо визначити популяцію як «14-річні діти», а вибірку стандартизації скласти з 14-річних школярів, то її не можна розглядати як репрезентативною, оскільки не всі 14-річні діти є школярами. У цьому випадку краще звузити визначення популяції (тобто визначити її як «14-річні школярі»), ніж переносити норми, отримані на школярах, на популяцію 14-річних дітей.

Таким чином, одним із способів забезпечення репрезентативності вибірки є обмеження популяції. Обмежити популяцію можна за різними ознаками: за віком, статтю, соціальним походженням, професії, соціально-економічному статусу, здоров'ю і т. д. Така популяція визначається як специфічна, і стандартизація діагностичних методик здійснюється на вузьконаправлених вибірках, які репрезентативні специфічної популяції. Творець діагностичної методики повинен завжди повідомляти, для якої специфічної популяції були розроблені нормативні показники.

Відбір досліджуваних у вибірку стандартизації здійснюється наступним чином:

1) дається визначення популяції з виділенням в її структурі змінних, значимих і малозначущих для досліджуваного психічного явища (вік, освіта, професія і т. д.);

2) популяція ділиться на частини у відповідності зі значущими змінними;

3) випробовувані відбираються у випадковому порядку і пропорційно чисельності кожної значущої частини сукупності. Випадковий відбір може здійснюватися за алфавітом, за таблицею випадкових чисел або іншим способом. Важливо, щоб у всіх представників популяції були рівні шанси потрапити до вибірки стандартизації. Ця умова передбачає, що кожен вибір не залежить від інших.

Обсяг вибірки може змінюватись в широких межах, але її мінімальний поріг, необхідний для отримання достовірних результатів, - близько 200 чоловік [26].

§ 2. Надійність і валідність

Перш ніж психодіагностичні методики можуть бути використані для практичних цілей, вони повинні пройти перевірку по ряду формальних критеріїв, які доводять їх високу якість і ефективність. Ці вимоги в психодіагностики складалися роками в процесі роботи над тестами і над їх вдосконаленням. У результаті з'явилася можливість захистити психологію від всіляких безграмотних підробок, які претендують на те, щоб називатися діагностичними методиками.

До числа основних критеріїв оцінки психодіагностичних методик відносяться надійність і валідність. Великий внесок у розробку цих понять внесли зарубіжні психологи (А. Анастазі, Е. Гізеллі, Дж. Гілфорд, Л. Кронбах, Р. Торндайк і Є. Хаген та ін.) Ними були розроблені як формально-логічний, так і математико-статистичних-ний апарат (насамперед, кореляційний метод і факторний аналіз) обгрунтування ступеня відповідності методик зазначеним критеріям.

У психодіагностику проблеми надійності та валідності методик тісно взаємопов'язані, проте існує традиція роздільного викладу цих найважливіших характеристик. Слідуючи їй, почнемо з розгляду надійності методик.

Надійність

У традиційній тестології термін «надійність» означає відносне сталість, стійкість, узгодженість результатів тесту при первинному і повторному його застосуванні на одних і тих же випробовуваних. Як пише А. Анастазі [10, т. 1], навряд чи можна з довірою ставитися до тесту інтелекту, якщо по ньому на початку тижня дитина мала показник, рівний 110, а до кінця - 80. Повторне застосування надійних методик дає подібні оцінки. При цьому в певній мірі можуть збігатися як самі результати, так і порядкове місце (ранг), займане піддослідним у групі. І в тому, і в іншому випадку при повторенні досвіду можливі деякі розбіжності, але важливо, щоб вони були незначними, в межах однієї групи. Таким чином, можна сказати, що надійність методики - це такий критерій, який говорить про точність психологічних вимірів, тобто дозволяє судити про те, наскільки вселяють довіру отримані результати.

Ступінь надійності методик залежить від багатьох причин. Тому важливою проблемою практичної діагностики є з'ясування чинників, що знижують точність вимірювань. Була зроблена спроба скласти класифікацію таких чинників. Серед них найбільш часто називаються наступні:

1) нестабільність диагностируемого властивості;

2) недосконалість діагностичних методик (недбало складена інструкція, завдання за своїм характером різнорідні, нечітко сформульовані вказівки, як методику пред'являти випробуваним, і т. д.);

3) змінюється ситуація обстеження (різний час дня, коли проводяться експерименти, різна освітленість приміщення, наявність або відсутність сторонніх шумів і т. д.);

4) відмінності в манері поведінки експериментатора (від досвіду до досвіду по-різному пред'являє інструкції, по-різному стимулює виконання завдань і т. д.);

5) коливання у функціональному стані випробуваного (в одному експерименті відзначається добре самопочуття, в іншому - стомлення і т. д.);

6) елементи суб'єктивності в способах оцінки та інтерпретації результатів (коли ведеться протоколювання відповідей випробовуваних, оцінюються відповіді за ступенем повноти, оригінальності і т. п.).

Якщо всі ці фактори мати на увазі і постаратися в кожному з них усунути умови, що знижують точність вимірів, то можна добитися прийнятного рівня надійності тесту. Одним з найважливіших засобів підвищення надійності психодіагностичної методики є однаковість процедури обстеження, його сувора регламентація: однакові для обстежуваної вибірки піддослідних обстановка і умови роботи, однотипний характер інструкцій, однакові для всіх тимчасові обмеження, способи та особливості контакту з досліджуваними, порядок пред'явлення завдань і т. д. За такої стандартизації процедури дослідження можна істотно зменшити вплив сторонніх випадкових факторів на результати тесту і таким чином підвищити їх надійність.

На характеристику надійності методик великий вплив робить досліджувана вибірка. Вона може як знижувати, так і завищувати цей показник, наприклад, надійність може бути штучно завищена, якщо у вибірці невеликий розкид результатів, тобто якщо результати по своїм значенням близькі один до одного. У цьому випадку при повторному обстеженні нові результати також розташуються тісному групою. Можливі зміни рангових місць піддослідних будуть незначними, і, отже, надійність методики буде високою. Таке ж невиправдане завищення надійності може виникнути при аналізі результатів вибірки, що складається з групи, що має дуже високі результати, і з групи з дуже низькими оцінками по тесту. Тоді ці далеко віддалені один від одного результати не будуть перекриватися, навіть якщо і втрутяться в умови експерименту випадкові фактори. Тому в керівництві зазвичай робиться опис вибірки, на якій визначалася надійність методики.

В даний час надійність все частіше визначається на найбільш однорідних вибірках, тобто на вибірках, схожих за статтю, віком, рівнем освіти, професійної підготовки і т. п. Для кожної такої вибірки наводяться свої коефіцієнти надійності. Наведений показник надійності застосовується лише до груп, подібних тим, на яких він визначався. Якщо методика застосовується до вибірки, що відрізняється від тієї, на якій перевірялася її надійність, то ця процедура має бути проведена заново.

Так як надійність відбиває ступінь узгодженості двох незалежно отриманих рядів показників, то математико-статистичний прийом, за допомогою якого встановлюється надійність методики - це кореляції (по Пирсону або Спирмену). Надійність тим вище, чим ближче отриманий коефіцієнт кореляції підходить до одиниці, і навпаки.

У даній книзі при описі видів надійності основний упор робиться на роботи К. М. Гуревича [30-33], який, провівши ретельний аналіз зарубіжної літератури з цієї проблеми, запропонував тлумачити надійність як комплексну характеристику, що включає:

♦ надійність самого вимірювального інструмента;

♦ стабільність досліджуваного ознаки;

♦ константність, тобто відносну незалежність результатів від особистості експериментатора.

Основні показники він запропонував визначити таким чином:

♦ показник, що характеризує вимірювальний інструмент, пропонується називати коефіцієнтом надійності;

♦ показник, що характеризує стабільність вимірюваного свій ства - коефіцієнтом стабільності;

♦ показник оцінки впливу особистості експериментатора - коефіцієнтом константності.

Саме в такому порядку рекомендується здійснювати перевірку методики на надійність: доцільно спочатку перевірити інструмент вимірювання. Якщо отримані дані задовільні, то можна переходити до встановлення міри стабільності вимірюваного властивості, а вже після цього, при необхідності, зайнятися критерієм константності.

Зупинимося на більш детальному розгляді цих показників, що характеризують з різних сторін надійність психодіагностичної методики.

Визначення надійності вимірювального інструмента. Від того, як складена методика, наскільки правильно підібрані завдання з точки зору їх взаємоузгодженості, наскільки вона однорідна, залежить точність, об'єктивність якого психологічного виміру. Внутрішня однорідність методики показує, що її завдання актуалізують одне і те ж властивість, ознака.

Для перевірки надійності вимірювального інструмента, що говорить про його однорідності (або гомогенності), використовується так званий метод «розщеплення». Зазвичай завдання діляться на парні і непарні, окремо обробляються, а потім результати двох отриманих рядів корелюються між собою. Для застосування цього способу потрібно поставити піддослідних в такі умови, щоб вони змогли встигнути вирішити (або спробувати вирішити) всі завдання. Якщо методика однорідна, то великої різниці в успішності рішення з таких половинкам не буде, і, отже, коефіцієнт кореляції буде досить високим.

Можна ділити завдання та іншим шляхом. Наприклад, можна зіставити першу половину тесту з другої, першу і третю чверть з другої і четвертої і т. п. Однак «розщеплення» на парні і непарні завдання видається найбільш доцільним, оскільки саме цей спосіб найбільш незалежний від впливу таких факторів, як врабативаемості, тренування, стомлення і пр.

Методика визнається надійною, коли отриманий коефіцієнт не нижче 0,75-0,85. Кращі за надійністю тести дають коефіцієнти порядку 0,90 і більше.

Визначення стабільності досліджуваного ознаки. Визначити надійність самої методики - це не означає вирішити всі питання, пов'язані з її застосуванням. Потрібно ще встановити, наскільки стійкий, стабільний ознака, який дослідник має намір вимірювати. Було б методологічною помилкою розраховувати на абсолютну стабільність психологічних ознак. У тому, що вимірюється ознака з часом змінюється, немає нічого небезпечного для надійності. Вся справа в тому, в яких межах варіюються результати від досвіду до досвіду в одного і того ж випробуваного, чи не призводять ці коливання до того, що випробуваний з незрозумілих причин виявляється то на початку, то в середині, то наприкінці вибірки. Зробити якісь конкретні висновки про рівень представленості вимірюваного ознаки у такого випробуваного можна. Таким чином, коливання ознаки не повинні мати непередбачуваний характер. Якщо не зрозумілі причини, за якими відбувається різке коливання, то така ознака не може бути використаний в діагностичних цілях.

Для перевірки стабільності диагностируемого ознаки, властивості використовується прийом, відомий під назвою тест-ретест. Він полягає в повторному обстеженні випробовуваних за допомогою тієї ж методики. Про стабільність ознаки судять за коефіцієнтом кореляції між результатами першого і другого обстеження. Він буде свідчити про збереження або незбереження кожним піддослідним свого порядкового номера у вибірці.

На ступінь стійкості, стабільності диагностируемого властивості впливають різноманітні чинники. Число їх досить велике. Вище вже йшлося про те, як важливо дотримуватися вимог однаковості процедури проведення експерименту. Так, наприклад, якщо перше тестування проводилося в ранкові години, то і повторне повинно бути проведено вранці, якщо перший досвід супроводжувався попередніми показом завдань, то і при повторному випробуванні ця умова також повинна бути дотримана і т. д.

При визначенні стабільності ознаки велике значення має проміжок часу між першим і другим обстеженням. Чим коротший термін від першого до другого випробування, тим (за інших рівних умов) більше шансів, що діагностується ознака збереже рівень першого випробування. Зі збільшенням тимчасового інтервалу стабільність ознаки має тенденцію знижуватися, тому що зростає число сторонніх чинників, що впливають на неї. Отже, напрошується висновок, що доцільно проводити повторне тестування через короткий термін після першого. Проте тут є свої складності: якщо термін між першим і другим досвідом невеликий, то деякі випробовувані можуть відтворити свої колишні відповіді по пам'яті і, таким чином, відійдуть від сенсу виконання завдань. У цьому випадку результати двох передавальний методики вже не можна розглядати як незалежні.

Важко чітко відповісти на запитання, який термін можна вважати оптимальним для повторного експерименту. Тільки дослідник, виходячи з психологічної сутності методики, умов, в яких вона проводиться, особливостей вибірки досліджуваних, повинен визначити цей термін. При цьому такий вибір повинен бути науково обгрунтований. У ті-стологіческой літературі найбільш часто називаються тимчасові інтервали в кілька місяців (але не більше півроку). При обстеженні дітей молодшого віку, коли вікові зміни і розвиток відбуваються дуже швидко, ці інтервали можуть бути порядку декількох тижнів [10, т. 1].

Коефіцієнт стабільності методики має бути досить високим (не нижче 0,80).

Визначення константності (відносної незалежності результатів від особистості експериментатора). Оскільки методика, розроблена для діагностичних цілей, не призначена для того, щоб вічно залишатися в руках своїх творців, вкрай важливо знати, якою мірою її результати піддаються впливу особистості експериментатора. Хоча діагностична методика завжди забезпечується докладними інструкціями щодо її застосування, правилами та прикладами, що вказують, як проводити експеримент, однак регламентувати манеру поведінки експериментатора, швидкість його мови, тон голосу, паузи, вираз обличчя дуже важко. Випробуваний у своєму ставленні до досвіду завжди відобразить те, як сам експериментатор до цього досвіду відноситься (допускає недбалість або діє точно відповідно до вимог процедури, проявляє вимогливість, наполегливість чи безконтрольність і т. п.).

Хоча в тестологіческого практиці критерієм константності користуються нечасто, проте це не може служити підставою для його недооцінки. Якщо у авторів методики виникають підозри з приводу можливого впливу особистості експериментатора на результат діагностичної процедури, то доцільно перевірити методику за цим критерієм. При цьому важливо мати на увазі наступний момент. Якщо під впливом нового експериментатора всі випробувані в однаковій мірі стали працювати трохи краще чи трохи гірше, то сам по собі цей факт (хоча і заслуговує на увагу) на надійність методики не матиме впливу. Надійність зміниться лише тоді, коли вплив експериментатора на піддослідних різному: одні стали працювати краще, інші гірше, а треті так само, як і при першому експериментатора. Іншими словами, якщо випробувані при новому експериментатор змінили свої порядкові місця у вибірці.

Коефіцієнт константності визначається шляхом кореляції результатів двох дослідів, проведених у відносно однакових умов на одній і тій же вибірці випробуваних, але різними експериментаторами. Коефіцієнт кореляції не повинен бути нижче 0,80.

Отже, були розглянуті три показники надійності психодіагностичних методик. Може виникнути питання, чи потрібно при створенні методик здійснювати перевірку кожного з них? На це питання слід дати ствердну відповідь.

Так, автори «Стандартних вимог до педагогічних і психологічних тестів» у розділі «Надійність» відзначають, що коефіцієнт надійності - це родове поняття, яке включає в себе кілька видів, і кожен вид має свій особливий сенс. Розділяє цю точку зору і К. М. Гуревич [32]. На його думку, коли говорять про різні способи визначення надійності, то мають справу не з кращого чи гіршого заходом, а з заходами різною по суті надійності. Справді, чого варто методика, якщо не ясно, чи надійна вона сама по собі як вимірювальний інструмент, або не встановлена ​​стабільність вимірюваного властивості? Чого вартий діагностична методика, якщо невідомо, чи можуть змінюватися результати залежно від того, хто веде експеримент? Кожен окремо показник ніяк не замінить інших способів перевірки і, отже, не може розглядатися в якості необхідної і достатньої характеристики надійності. Тільки методика, що володіє повною характеристикою надійності, найбільш придатна для діагностико-практичного застосування.

Валідність

Іншим після надійності ключовим критерієм оцінки якості методик є валідність. Питання про валідності методики вирішується лише після того, як встановлена ​​достатня її надійність, оскільки ненадійна методика не може бути валидной. Але сама надійна методика без знання її валідності є практично даремною.

Слід зауважити, що питання про валідності до останнього часу представляється одним з найскладніших. Найбільш укоріненим визначенням цього поняття є те, яке наведено в книзі А. Анастазі: «Валідність тесту - поняття, яке вказує нам, що тест вимірює і наскільки добре він це робить» [10, т. 1 с. 126].

Валідність за своєю суттю - це комплексна характеристика, що включає, з одного боку, відомості про те, чи придатна методика для вимірювання того, для чого вона була створена, а з іншого боку, яка її дієвість, ефективність, практична корисність.

З цієї причини не існує якогось єдиного універсального підходу до визначення валідності. Залежно від того, яку сторону валідності хоче розглянути дослідник, використовуються і різні способи доказу. Іншими словами, поняття валідності включає в себе різні її види, що мають свій особливий сенс. Перевірка валідності методики називається валідизації.

Валідність в першому її розумінні має відношення до самої методикою, тобто це валідність вимірювального інструмента. Така перевірка називається теоретичної валідизації. Валідність у другому розумінні вже належить не стільки до методики, скільки до мети її використання. Це прагматична валидизация.

Узагальнюючи, можна сказати наступне:

♦ при теоретичної валидизации дослідника цікавить саме властивість, що вимірюється методикою. Це, по суті, означає, що проводиться власне психологічна валидизация;

♦ при прагматичної валидизации суть предмета вимірювання (психологічного властивості) виявляється поза полем зору. Головний акцент зроблений на те, щоб довести, що щось, вимірюване методикою, має зв'язок з певними областями практики.

Провести теоретичну валідизації, на відміну від прагматичної, часом виявляється значно важче. Не вдаючись поки в конкретні деталі, зупинимося в загальних рисах на те, як перевіряється прагматична валідність: вибирається який-небудь незалежний від методики зовнішній критерій, що визначає успіх у тій чи іншій діяльності (навчальної, професійної тощо), і з ним порівнюються результати діагностичної методики. Якщо зв'язок між ними визнається задовільною, то робиться висновок про практичну значимість, ефективності, дієвості діагностичної методики.

Для визначення теоретичної валідності знайти який-небудь незалежний критерій, який лежить поза методики, набагато важче. Тому на ранніх стадіях розвитку тестології, коли концепція валідності тільки складалася, побутувала інтуїтивне уявлення про те, що тест вимірює:

1) методика називалася правильна, тому що те, що вона вимірює, просто очевидно;

2) доказ валідності грунтувалося на впевненості дослідника в тому, що його метод дозволяє зрозуміти випробуваного;

3) методика розглядалася як правильна (тобто приймалося твердження, що такий-то тест вимірює таке-то якість) тільки тому, що теорія, на підставі якої будувалася методика, дуже хороша.

Прийняття на віру голослівних тверджень про валідності методики не могло тривати довгий час. Перші прояви дійсно наукової критики розвінчали такий підхід: почалися пошуки науково обгрунтованих доказів.

Таким чином, провести теоретичну валідизації методики - це довести, що методика вимірює саме те властивість, якість, яке вона за задумом дослідника повинна вимірювати.

Так, наприклад, якщо якийсь тест розроблявся для того, щоб діагностувати розумовий розвиток дітей, треба проаналізувати, чи справді він вимірює саме цей розвиток, а не якісь інші особливості (наприклад, особистість, характер і т. п.). Таким чином, для теоретичної валидизации кардинальної проблемою є відношення між психологічними явищами і їх показниками, за допомогою яких ці ​​психологічні явища намагаються пізнати. Це показує, наскільки задум автора і результати методики збігаються.

Не настільки складно провести теоретичну валідизації нової методики, якщо для вимірювання даної властивості вже є методика з доведеною валидностью. Наявність кореляції між новою і аналогічної вже перевіреної методикою вказує на те, що розроблена методика вимірює те ж психологічне якість, що й еталонна. І якщо новий метод одночасно виявляється більш компактним і економічним у проведенні та обробці результатів, то психодиагноста отримують можливість використовувати новий інструмент замість старого.

Але теоретична валідність доводиться не тільки шляхом зіставлення зі спорідненими показниками, а також і з тими, де, виходячи з гіпотези, значимих зв'язків не повинно бути. Таким чином, для перевірки теоретичної валідності важливо, з одного боку, встановити ступінь зв'язку зі спорідненою методикою (конвергентна валідність) і відсутність зв'язку з цим з методиками, які мають інше теоретичну підставу (дискримінантний валідність).

Набагато важче провести теоретичну валідизації методики тоді, коли такий шлях перевірки неможливий. Найчастіше саме з такою ситуацією стикається дослідник. В таких обставин лише поступове накопичення різноманітної інформації про досліджуваному властивості, аналіз теоретичних передумов і експериментальних даних, значний досвід роботи з методикою дозволяє розкрити її психологічний зміст.

Важливу роль для розуміння того, що методика вимірює, відіграє зіставлення її показників з практичними формами діяльності. Але тут особливо важливо, щоб методика була ретельно опрацьована в теоретичному плані, тобто щоб була міцна, обгрунтована наукова база. Тоді при зіставленні методики з узятим з повсякденної практики зовнішнім критерієм, відповідним тому, що вона вимірює, може бути отримана інформація, подкрепляющая теоретичні уявлення про її сутність.

Важливо пам'ятати, що якщо доведена теоретична валідність, то інтерпретація отриманих показників стає більш ясною і однозначною, а назва методики відповідає сфері її застосування. Що стосується прагматичної валідизації, то вона має на увазі перевірку методики з точки зору її практичної ефективності, значущості, корисності, оскільки діагностичної методикою має сенс користуватися тільки тоді, коли доведено, що вимірюється властивість проявляється в певних життєвих ситуаціях, у певних видах діяльності. Їй надають великого значення особливо там, де постає питання відбору.

Якщо знову звернутися до історії розвитку тестології [1, 10, 31; 62; 88 та ін], то можна виділити такий період (20-30-і рр.. XX ст.), Коли науковий зміст тестів і їх теоретичний багаж цікавили в меншою мірою. Важливо було, щоб тест працював, допомагав швидко відбирати найбільш підготовлених людей. Емпіричний критерій оцінки тестових завдань вважався єдино вірним орієнтиром у вирішенні наукових і прикладних задач.

Використання діагностичних методик з чисто емпіричним обгрунтуванням, без виразної теоретичної бази нерідко призводило до псевдонаукових висновків, до невиправданих практичних рекомендацій. Не можна було точно назвати ті особливості, якості, які тести виявляли. По суті вони були сліпими пробами.

Такий підхід до проблеми валідності тестів був характерний аж до початку 50-х рр.. XX ст. не тільки в США, але і в інших країнах. Теоретична слабкість емпіричних методів валидизации не могла не викликати критики з боку тих вчених, які в розробці тестів закликали спиратися не тільки на голу емпірику і практику, а й на теоретичну концепцію. Практика без теорії, як відомо, сліпа, а теорія без практики мертва. В даний час теоретико-практична оцінка валідності методик сприймається як найбільш продуктивна.

Для проведення прагматичної валідизації методики, тобто для оцінки її ефективності, дієвості, практичної значущості, зазвичай використовується незалежний зовнішній критерій - показник прояви досліджуваного властивості в повсякденному житті. Таким критерієм може бути і успішність (для тестів здібностей до навчання, тестів досягнень, тестів інтелекту), і виробничі досягнення (для методик професійної спрямованості), і ефективність реальної діяльності - малювання, моделювання і т. д. (для тестів спеціальних здібностей), суб'єктивні оцінки (для тестів особистості).

Американські дослідники Д. Тіффін і Е. Мак-Кормік, провівши аналіз використовуваних для доведення валідності зовнішніх критеріїв, виділяють чотири їх типи [по 31):

1) критерії виконання (до їх числа можуть входити такі, як кількість виконаної роботи, успішність, час, витрачений на навчання, темп росту кваліфікації і т. п.);

2) суб'єктивні критерії (вони включають різні види відповідей, які відображають ставлення людини до чого-небудь або до кого-небудь, його думка, погляди, уподобання; зазвичай суб'єктивні критерії отримують за допомогою інтерв'ю, опитувальників, анкет);

3) фізіологічні критерії (вони використовуються при вивченні впливу навколишнього середовища та інших ситуаційних змінних на організм і психіку людини; заміряється частота пульсу, тиск крові, електроопір шкіри, симптоми втоми І т. д.);

4) критерії випадковостей (застосовуються, коли мета дослідження стосується, наприклад, проблеми відбору для роботи таких осіб, які менш схильні до нещасних випадків).

Зовнішній критерій має відповідати трьом основним вимогам:

♦ він повинен бути релевантним;

♦ вільним від перешкод;

♦ надійним.

Під релевантностью мається на увазі смислове відповідність діагностичного інструменту незалежного життєво важливого критерію. Іншими словами, повинна бути впевненість в тому, що в критерії задіяні саме ті особливості індивідуальної психіки, які вимірюються і діагностичної методикою. Зовнішній критерій і діагностична методика повинні перебувати між собою у внутрішньому смисловому відповідно, бути якісно однорідними по психологічної сутності. Якщо, наприклад, тест вимірює індивідуальні особливості мислення, вміння виконувати логічні дії з певними об'єктами, поняттями, то і в критерії потрібно шукати прояв саме цих умінь. Це однаковою мірою стосується і професійної діяльності. Вона має не одну, а кілька цілей, завдань, кожна з яких специфічна і пред'являє свої умови до виконання. З цього випливає існування декількох критеріїв виконання професійної діяльності. Тому не слід проводити зіставлення успішності по діагностичним методикам з виробничою ефективністю в цілому. Необхідно знайти такий критерій, який за характером виконуваних операцій співвідносимо з методикою.

Якщо щодо зовнішнього критерію невідомо, релевантним він вимірюваному властивості чи ні, то зіставлення з ним результатів психодіагностичної методики стає практично даремним. Воно не дозволяє прийти до якихось висновків, які могли б дати оцінку валідності методики.

Вимоги свободи від перешкод викликаються тим, що, наприклад, навчальна або виробнича успішність залежить від двох змінних: від самої людини, її індивідуальних особливостей, що вимірюються методиками, і від ситуації, умов навчання, праці, які можуть привнести перешкоди, «забруднити» застосовуваний критерій . Щоб в якійсь мірі уникнути цього, слід відбирати для дослідження такі групи людей, які знаходяться в більш-менш однакових умовах. Можна використовувати і інший метод. Він полягає в коригуванні впливу перешкод. Це коректування носить зазвичай статистичний характер. Так, наприклад, продуктивність слід брати не з абсолютним значенням, а в ставленні до середньої продуктивності робітників, що працюють в аналогічних умовах.

Коли кажуть, що критерій повинен мати статистично достовірну надійність, це означає, що він повинен відображати сталість і стійкість досліджуваної функції.

Пошуки адекватного і легко виявляється критерію відносяться до дуже важливим і складним завданням валідизації. У західній тестології багато методик анульовано тільки тому, що не вдалося знайти відповідного критерію для їх перевірки. Наприклад, у більшої частини анкет дані по їх валідності сумнівні, тому що важко знайти адекватний зовнішній критерій, який відповідає тому, що вони вимірюють.

Оцінений валідності методик може носити кількісний і якісний характер.

Для обчислення кількісного показника - коефіцієнта валідності - зіставляються результати, отримані при застосуванні діагностичної методики, з даними, отриманими за зовнішнім критерієм, тих же осіб. Використовуються різні види лінійної кореляції (по Спирмену, за Пирсону).

Скільки піддослідних необхідно для розрахунку валідності?

Практика показала, що їх не повинно бути менше 50, проте краще всього більше 200. Часто виникає питання, якою має бути величина коефіцієнта валідності, щоб вона вважалася прийнятною? Загалом наголошується, що достатньо того, щоб коефіцієнт валідності був статистично значущий. Низьким визнається коефіцієнт валідності порядку 0,20-0,30, середнім - 0,30-0,50 і високим - понад 0,60.

Але, як підкреслюють А. Анастазі [10, т. 1], К. М. Гуревич [31] та інші, не завжди для обчислення коефіцієнта валідності правомірно використовувати лінійну кореляцію. Цей прийом виправданий лише тоді, коли доведено, що успіх в якійсь діяльності прямо пропорційний успіху у виконанні діагностичної проби. Позиція зарубіжних тестологів, особливо тих, хто займається профпридатність і профвідбору, найчастіше зводиться до беззастережного визнання того, що для професії більше підійде той, хто більше виконав завдань у тесті. Але може бути й так, що для успіху в діяльності потрібно мати властивість на рівні 40% рішення тесту. Подальший успіх в тесті вже не має ніякого значення для професії. Наочний приклад з монографії К. М. Гуревича [31]: листоноша повинен вміти читати, але чи читає він зі звичайною швидкістю або з дуже великою швидкістю - це вже не має професійного значення. При такому співвідношенні показників методики і зовнішнього критерію найбільш адекватним способом встановлення валідності може бути критерій відмінностей.

Можливий і інший випадок: більш високий рівень властивості, ніж це вимагає професія, служить перешкодою професійного успіху. Так, ще на зорі XX ст. американський дослідник Ф. Тейлор знайшов, що найбільш розвинені працівниці виробництва мають невисоку продуктивність праці. Тобто високий рівень їх розумового розвитку заважав їм високопродуктивно трудитися. У цьому випадку для обчислення коефіцієнта валідності більш підійшов би дисперсійний аналіз або обчислення кореляційних відносин.

Як показав досвід роботи зарубіжних тестологів, жодна статистична процедура не в змозі повністю відобразити розмаїття індивідуальних оцінок. Тому часто для доведення валідності методик використовують іншу модель - клінічні оцінки. Це не що інше, як якісний опис сутності досліджуваного властивості. У цьому випадку мова йде про використання прийомів, що не спираються на статистичну обробку.

Запитання і завдання

1. Дайте визначення поняттю «стандартизація методик».

2. Що таке репрезентативна вибірка? Як вона будується?

3. Назвіть наведені в главі критерії оцінки результатів діагностичних випробувань.

4. Що таке надійність методики? Назвіть види надійності.

5. Що таке валідність методики? Назвіть її основні види.

Рекомендовано література

1. Анастазі А. Психологічне тестування: У 2 кн. / Под ред. К. М. Гуревича, В. І. Лубовский. Кн. 1. - М., 1982.

2. Бурлачук Л. Ф. Психодіагностика. - СПб., 2003.

3. Бурлачук Л. Ф., Морозов С. М. Словник-довідник по психологічній діагностиці. - Київ, 1989.

4. Гайда В. К., Захаров В. П. Психологічне тестування. - Л., 1982.

5. Гуревич К. М. Про надійність психофізіологічних показників / / Проблеми диференціальної психофізіології. Т. 6. - М., 1969.

6. Гуревич К. М. Надійність психологічних тестів / / Психологічна діагностика. Її проблеми і методи. - М., 1975.

7. Гуревич К. М. Статистика - апарат докази психологічної діагностики / / Проблеми психологічної діагностики. - Таллінн, 1977.

8. Гуревич К. М. Що таке психологічна діагностика. - М., 1985.

9. Гуревич К. М. Проблеми диференціальної психології. - М.; Воронеж, 1998.

10. Носса І. М. Введення в технологію психодіагностики. - М., 2003.

11. Загальна психодіагностика / Под ред. А. А. Бодалева, В. В. Століна. - М., 1987.

12. Основи психодіагностики / Под ред. А. Г. Шмельова. - Ростов н / Д, 1996.

Частина II

ДІАГНОСТИКА

Когнітивних

СФЕРИ