Анализ ошибок

Ошибок в основной серии было в несколько раз больше, чем опозданий (см. лист «14. Общая стат»):

Названия строк	время, мс	кол-во верных	кол-во опозд	кол-во ошиб.	кол-во сумм.	% опозд	% ошиб.
связанные слова	611,41	368	2	5	375	0,53%	1,33%
несвяз. слова	638,99	344	7	26	377	1,86%	6,90%
слово - не слово	698,48	688	14	52	754	1,86%	6,90%
Общий итог	660,97	1400	23	83	1506

В случае с ошибками ситуация еще более красноречивая, чем в случае c опозданиями. Доля ошибок для случая пары связанных слов составила 1.3%, что более чем в 5 раза меньше, чем доля ошибок для случая пары несвязанных слов (6.9%). С другой стороны, доля ошибок для случая пары несвязанных слов, которая составила 6.9%, оказалась равной доле ошибок для случая пары слово-не слово. В данном случае, конечно, точное равенство, как и для случая с опозданиями - это всего лишь совпадение.

Лидером по количеству ошибок являются пары «космос ремент» и «дерево ворост» (8 ошибок из 29) для случая пары слово - не слово, также «молоко пещера» (6 ошибок из 29) для случая пары несвязанных слов. Статистика по другим парам приведена ниже (см. также лист «22. Ошибки по словам»):

Далее проанализируем, насколько разница в частоте ошибок между ответами на пары связанных слов (1.3%) и пары несвязанных слов (6.9%) существенна. Будем использовать, как и в случае анализа времени, критерий знаков (или G-критерий знаков). Для его применения подсчитаем количество характерных (в нашем случае – в большую сторону) и нехарактерных (в нашем случае – в меньшую сторону) изменений в количестве ошибок при переходе от пары связанных слов к паре несвязанных слов для всех участников. При этом нулевой гипотезой будет следующее утверждение: «существенность сдвигов в типичном направлении не превосходит существенности сдвигов в нетипичном направлении».

У нас получается, что из 29 участников у 17 кол-во ошибок увеличилось, и только у одного участника N05 кол-во ошибок упало (см. столбцы AF-AG на листе «16. анализ по уч-кам»). У 11 участников кол-во ошибок не изменилось, и мы их отбрасываем. Критическим значением критерия для числа участников 18 и уровня значимости 0.05 является 6. Так как полученное значение критерия (1) у нас меньше этого критического значения (6), то нулевую гипотезу отвергаем и считаем различия в частоте ошибок существенными.

Вывод: G-критерий знаков показывает, что различие в частоте ошибок в случае пары связанных слов (1.3%) и частоты ошибок случае пары несвязанных слов (6.9%) не случайно и носит статистически значимый характер.

Краткие итоги

1. Исходные распределения времени верного ответа отличаются от нормального, причем для пар несвязанных слов и пар слово-не слово отличие наиболее существенно. Во всех случаях отмечена правая асимметрия распределения.

2. Среднее время ответа составило 611 мс для пар связанных слов, 639 мс для пар несвязанных слов и 698 мс для пар слово-не слово. Статистическая значимость этих различий подтверждена несколькими критериями (t-тест Стьюдента, критерий Уилкоксона, G-критерий знаков).

3. Частота ошибок составила 1.3% для пар связанных слов и 6.9% для пар несвязанных слов и пар слово-не слово. Статистическая значимость этих различий подтверждена G-критерием знаков (другие критерии и тесты не применялись).