Анализ времени ответа

Лист «14. Общая стат.» содержит сгруппированные данные:

Названия строк	время, мс	кол-во верных	кол-во опозд	кол-во ошиб.	кол-во сумм.	% опозд	% ошиб.
связанные слова	611,41	368	2	5	375	0,53%	1,33%
несвяз. слова	638,99	344	7	26	377	1,86%	6,90%
слово - не слово	698,48	688	14	52	754	1,86%	6,90%
Общий итог	660,97	1400	23	83	1506

Во втором столбце указано среднее время верного ответа в миллисекундах (мс).

Таким образом, в случае пары связанных слов правильный ответ дается в среднем на 4-5% быстрее, чем в случае пары несвязанных слов. В свою очередь, разница по данному параметру между парами несвязанных слов и парами слово-не слово составляет еще больше - около 9%.

С детальным анализом по среднему времени ответа в случае правильного ответа, а также с кол-вом верных, ошибочных ответов и опозданиям в разрезе по участникам можно ознакомиться на листе «16. анализ по уч-кам» (среднее время ответа – столбцы A-E, кол-во верных/ошибочных/опозданий – в столбцах M-Z).

Далее нам предстоит выяснить статистическую значимость данной разницы. Если в вашем Excel не установлен пакет анализа, можно его установить для последующего расширенного анализа. В Excel 2010 для этого нужно перейти по пути: файл->параметры->надстройки->пакет анализа.

Проверка исходных данных на нормальность

Сначала оценим характер распределения времени ответов для всех трех случаев. Базовой гипотезой будет то, что эти распределения подчиняются нормальному закону. Для этого я воспользовался наиболее часто применяемым критерием согласия Пирсона χ². Отмечу, что с чисто формальной точки зрения время ответа на вопрос в нашем тесте, наверное, не может быть нормально распределено из-за того, что случайная величина, распределенная нормально, принимает значения на всей числовой оси, а в нашем случае результаты эксперимента (время в мс) были ограничены 0 мс снизу и 1000 мс сверху, то есть все значения без исключения находились в этом интервале, сколько бы мы раз эксперимент не проводили. Все результаты, которые могли быть больше 1 секунды имели тип "опоздание" и отбрасывались. Тем не менее, в случае реального эксперимента можно говорить о том, что даже случайная величина, принимающая значения только на ограниченном интервале, может иметь распределение, достаточно близкое к нормальному, чтобы условно считать ее нормально распределенной.

Для проверки на нормальность я скопировал детальные данные на лист «5. анализ t на норм». В столбцах A-C содержатся времена всех ответов в случае правильного ответа, а в столбцах E-G в дополнение к ним – еще и времена опозданий (они все равны 1000 мс). Для построения гистограмм использовались корзины (Excel называет их карманами) 400 (куда входят ответы с временами 0-400 мс),450 (400-450 мс), 500, ..., 950 (900-950 мс) и 1000 (куда входят ответы с временами 950-1000 мс). При этом если для конкретного случая в крайних карманах/корзинах не было элементов, то они (корзины) объединялись с соседними и укрупнялись, чтобы во всех корзинах было, по крайней мере, по одному элементу.

На листах «6.расп связ без опозд», «7.расп несвяз без опозд», «8.расп не слово без опозд» и «9.расп связ с опозд», «10.расп несвяз с опозд», «11.расп не слово с опозд» осуществлялась непосредственная проверка на нормальность критерием Пирсона χ².

На первых трех перечисленных листах («… без опозд») анализировались только данные по верным ответам, а на следующих трех («… с опозд») – по верным ответам и опозданиям. Зачем именно требовалось анализировать оба варианта – см. обсуждение в разделе «Анализ опозданий» ниже.

Результаты оказались следующими: во всех случаях значение полученной статистики χ² превосходило критический уровень для данного критерия с уровнем значимости 0.05. Наиболее близкое к критическому значение было получено для случая верных ответов на связанные пары слов («6.расп связ без опозд»), поэтому можно сделать вывод о наибольшей близости распределения этой группы ответов к нормальному распределению. Распределение же несвязанных слов, как оказалось, наиболее далеко от нормального, даже дальше, чем для случая пары слово-не слово. В случае включения данных по опозданиям эмпирическое распределение получалось еще дальше от нормального в силу «толстого» правого хвоста.

Итак, на основании критерия χ² следует отвергнуть гипотезу о нормальности распределения данных по времени ответов для всех рассмотренных случаев (связанные слова, несвязанные слова, слово-не слово).

Возможно, что после группировки по участникам и последующего усреднения, распределение среднего времени ответа будет больше похоже на нормальное распределение (в силу центральной предельной теоремы), однако я не стал проверять гипотезу о нормальности этого распределения этим критерием из-за недостаточности кол-ва испытуемых (29 человек), так как для проверки по критерию χ² Пирсона рекомендуют брать как минимум 50 результатов.