Тема 8. Аналіз завдань тесту

Проблема аналізу завдань тесту, методологічні питання, пов’язані з його проведенням, досить ґрунтовно висвітлені у роботах О.Г.Шмельова, Л.Ф.Бурлачука, Ю.Л.Ханіна, П.Клайна. Досить цікавим є демонстрація впровадження цієї процедури для адаптації особистісного опитувальника Г.Айзенка (В.М.Русалов).

Призначення процедури аналізу завдань тесту полягає в тому, щоб відібрати завдання, які формують однорідну, дискримінативну шкалу.

Якщо вже після першої перевірки на надійність і дискримінативність ви одержали задовільні результати, аналіз завдань проводити не обов'язково. Взагалі тоді краще нічого не міняти, оскільки одержати відразу надійний тест – велика рідкість.

Аналіз завдань найчастіше здійснюється через визначення:

а) кореляції кожного завдання із загальним показником по тесту;

б) частки випробовуваних, які дали ключові відповіді за даним завданням.

Статистичні методи, що вживаються при розрахунку кореляції завдань із загальним показником:

1) Коефіцієнт добутку моментів Пірсона «r_ху» (тема 2) використовується у випадку, коли кожне завдання оцінюється за багатобальною шкалою;

2) Крапково-бісеріальний коефіцієнт кореляції «r_pb» – для дихотомічних завдань;

3) Чотириклітинний коефіцієнт кореляції «r_tet» полягає у відборі 27% високих значень тесту і 27% низьких значень тесту з подальшим порівнянням відповідей на кожне завдання в цих двох вибірках.

Ще існує 67 коефіцієнтів для розрахунку кореляції завдань із загальним показником. Якщо вказані вище вас не задовольнять, раджу звернутися до праць, наведених у списку літератури.

Найбільш прийнятним для більшості випадків вважаю крапково-бісеріальний коефіцієнт кореляції

Формула:

де М_н – середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

М_l – середнє значення по тесту для випробовуваних, які дали неправильну (неключову) відповідь на даний пункт тесту;

σ- стандартне відхилення для тесту;

Р – частка випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

Q - частка випробовуваних, які дали неправильну (неключову) відповідь на даний пункт тесту.

Обчислюємо так:

1. Обчислити середнє арифметичне (M) і стандартне відхилення (σ) для всіх випробовуваних по тесту;

2. Для кожного завдання обчислити середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт (М_н) і окремо - кількості випробовуваних, що зробили це (N_н);

3. Для кожного завдання розділити N_н на N – на загальну кількість випробовуваних. Отримаємо Р;

4. Для кожного завдання розрахувати 1-Р. Отримаємо Q;

5. Маючи середнє значення загального показника, для кожного завдання можна одержати М_L :

,

де N – загальна кількість випробуваних;

M – середнє значення по тесту для всіх випробовуваних;

М_н – середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

N_н - кількість випробовуваних, що дали правильну (ключову) відповідь на даний пункт тесту;

N_L- кількість випробовуваних, що дали неправильну (неключову) відповідь на даний пункт тесту;

6. Для кожного завдання перемножити РQ і визначити квадратній коріння.

7. Розрахувати всі значення по формулі.

Для прикладу обчислимо коефіцієнт кореляції rpb для першого пункту тесту (1+), дані якого були наведені в темі 6 (табл.4).

1) З попередніх обчислень ми знаємо, що

М = 2,5;

σ= √S² = √1,17 = 1,08;

2) Ключову відповідь на перше питання тесту дали лише 2 випробуваних (N_н=2), їх результати за тестом загалом складали 3 і 3 бали, а отже М_н=3.

3) Р= 2/10=0,2;

4) Q=1-0,2=0,8.

Проте ми це також вже знали з попередніх розрахунків.

5) ;

6) ;

7) 0,22.

Відбір завдань тесту.

Представлений метод аналізу завдань тесту дав нам 2 суттєвих статистичних показника: «Р» і «r_ps»

Результати цього аналізу найзручніше представити в таблиці 6.

Для випробовуваних різного віку, статі, соціального положення, якщо це істотно для тесту, процедуру аналізу завдань потрібно проводити окремо. Тому кількість стовпчиків таблиці мають відповідати кількості складених вибірок випробуваних. Кількість рядків таблиці відповідатимуть числу пунктів вашого тесту.

Таблиця 6

Результати аналізу завдань тесту «Назва»

Завдання	N= «кількість випробуваних», «стать», «вік»		Наприклад: N=100, М, 19-21 рік		N=100, Ж, 19-21 рік		І далі
	Р	rpb	Р	rpb	Р	rpb	Р	rpb
1. Формулюємо завдання	0,2	0,22
2.
…
…
n.

Засновуючись на даних таблиці відбираються завдання тесту. При цьому необхідно враховувати не 2, а 4 критерії:

1. Величина тесту - має залишитися запланована кількість завдань;

2. Зміст тесту - не повинна порушитися змістовна валідність;

3. Кореляція завдань із загальним показником - чим вище значення коефіцієнту, тим краще, але не нижче r_pb=0,2;

4. Рівень трудності завдань «Р» повинен відповідати інтервалу 0,8-0,2 бали.

Відповідно процедура відбору завдань тесту складається з таких етапів:

1. Відбір тих завдань, які задовольняють критеріям r_pb і Р - вони залишаться незмінними);

2. Аналіз змісту тих завдань, які не відповідають одному з цих критеріїв. Може на результати вплинув випадковий зовнішній чинник. Тоді ці пункти виключати з тесту не варто.

3. Виключити з тесту пункти, що не відповідають двом критеріям;

4. Перевірити, чи не позбувся при цьому зміст тесту якої-небудь важливої вимірюваної ознаки. Якщо позбулося, доведеться переформулювати викинуті пункти, або замінити іншими, новими.

5. Підрахувати кількість завдань, що залишилися (має залишитися запланована кількість);

6. Обчислити коефіцієнт надійності. Якщо надійність знизилася, доведеться повернути в тест завдання з найкращими статистичними показниками з тих, що залишилися (кожного разу перераховуючи коефіцієнт надійності). Якщо це не допомагає, сформулювати нові завдання.

7. Після того, як задовільна надійність досягнута, потрібно вивчити розподіл (асиметрія, ексцес).

8. Розрахувати дискримінативність (δ Фергюсона);

9. Провести дослідження на новій вибірці, розрахувати всі необхідні критерії на ній, переконатися що тест надійний, валідний та дискримінативний.

Питання для самоконтролю:

1. В яких випадках дослідник звертається до аналізу завдань тесту?

2. В яких випадках дослідник під час аналізу завдань тесту звертається до розрахунку крапково-бісеріального коефіцієнту кореляції «r_pb», а в яких до коефіцієнту добутку моментів Пірсона «r_ху» ?

3. Як Ви гадаєте, чому показник «Р» застосовується для визначення рівня трудності пункту тесту?

4. Що можна сказати про пункт тесту, якщо відомо, що значення показника r_pb для нього становить 0,543 бала, а P = 0,6?

5. Що можна сказати про пункт тесту, якщо відомо, що він корелює з загальним показником по тесту на рівні r_pb=-0,64, а P = 0,7?

Завдання для самостійної роботи:

1. Ознайомтесь з прикладом аналізу пунктів методики «Особистісний опитувальник» Г.Айзенка.

2. Користуючись наведеною у додатку В таблицею, відберіть пункти тесту, які мають залишитися в ньому.

3. Користуючись індивідуальними результатами, отриманими по шкалі «Невміння управляти емоціями, дозувати їх» з методики «Що вам заважає встановлювати контакти з партнерами за допомогою емоцій» В.В.Бойко (додаток Б) проведіть аналіз її пунктів.

Література

1. Клайн П. Справочное руководство по конструированию тестов.- Киев: ПАН Лтд., 1994. - 288 с.

2. Шмелев А.Г., Похилько В.И. Анализ пунктов при конструировании и применении тест опросников: ручные и компьютерные алгоритмы. //Вопросы психологии. - 1985. - № 4. - С.126-134.

3. Ханин Ю. Л. Стандартизированный алгоритм адаптации зарубежных опросников //Психологические проблемы предсоревновательной подготовки спортсменов к ответственным соревнованиям /Под ред. Ю. Я. Киселева – Л.: 1997.

4. Русалов В. М. Новый вариант адаптации личностного теста EPI //Психологичнский журнал. – 1987. – №1. – С. 113 – 126.