Статистические выбросы

Если у вас есть группа данных с небольшим количеством всплесков или провалов – значений, которые гораздо больше или меньше среднего, — это так называемые статистические выбросы. Так как они сдвигают среднее значение далеко от срединного, если ваше среднее и срединное значение сильно отличаются, скорее всего виноваты статистические выбросы.

Когда вы проводите статистический анализ, вы можете задуматься, что делать с выбросами? Включать ли их в расчёты? Или игнорировать? Отнести ли их отдельно в особую группу? Как и с большинством других вещей – зависит от обстоятельств.

Если вы пытаетесь определить обычные модели игры, как правило, лучше не обращать на выбросы внимания, потому что они по определению – сильные отклонения от нормы. Если вы рассматриваете крайние случаи, тогда вы их не только оставляете, но и внимательно рассматриваете: например, вы пытаетесь проанализировать различные рекорды по очкам, чтобы знать, как отображать их в рейтинге, вы должны понимать, что верхние строчки в списке будут занимать как раз пиковые значения.

В любом случае, если у вас есть статистические выбросы, обычно стоит рассмотреть их подробнее, чтобы выяснить, что случилось. Возвращаясь к нашему предыдущему примеру о времени прохождения уровня, если большинство игроков проходят туториал за время от 5 до 7 минут, но вы заметили небольшое количество тестеров, которые прошли его за 1-2 минуты, это значит, что они наши какой-то обходной путь или эксплойт, и вам надо разобраться, как так вышло. Если же большинство управляется за 5-7 минут, а одному игроку понадобилось полчаса, это, по-видимому, значит, что он просто поставил игру на паузу и где-то бродил всё это время, или же ему так понравилось в этой песочнице, что он просто забавлялся и ему не было дела до продвижения – как бы то ни было, скорее всего, этим одним результатом можно пренебречь. Но если таких людей трое или четверо (всё рано в подавляющем меньшинстве), вам стоит следить за ситуаций далее, ведь может случиться, что некая малая группа людей будет сталкиваться в игре с проблемами… или это игроки, которым очень-очень понравилась какая-то вещь в туториале: такое тоже полезно узнать (пригодиться в дизайне последующих уровней).

Рабочая выборка

Вот ещё одна из причин, по которой вас ваша статистика может пойти наперекосяк: всё зависит от того, что и кого вы отобрали для работы.

Я уже упоминал одну из самых распространённых проблем – недостаточно большая выборка. Чем больше у вас данных, тем лучше. Вот вам пример: когда-то, когда я регулярно играл в Magic: TheGathering, мне довелось собирать колоду для друга – я не мог поучаствовать в турнире, зато у него получалось. Чтобы определить, подходящее ли у меня соотношение земель к заклинаниям, я перетасовал колоду, сдал первый круг и сыграл несколько ходов понарошку, чтобы увидеть, хватает ли мне всего. Я такое проделывал много раз, доходя почти до дна колоды, и в зависимости от того, было у меня слишком много или слишком мало земель, я добавлял или убирал их, перетасовывал карты и повторял процедуру. На тот момент мне казалось, что это отличный способ на глазок прикинуть, сколько мне нужно земель. Но так уж случилось, что я не заметил, что земли были очень равномерно распределены по колоде, а не собраны в группы, так что под конец мне стало казаться, что всё в порядке… я всё считал и считал. После турнира, на котором моего друга разнесли в пух и прах, он мне поведал, что ему постоянно не хватало земель, и когда мы прошлись по колоде и всё пересчитали, оказалось, что земель было всего 16 на колоду из 60 карт! Друг меня выбранил, и поделом. Проблема же заключалась в том, что я пытался анализировать количество земель статистическими методами, но размер выборки был слишком мал, чтобы дать какие-либо значимые результаты.

Вот ещё один пример: допустим, вы создаёте игру, ориентированную на рынок казуалок. Все в вашей команде разработчиков поиграли в игру, чтобы иметь какие-то базовые данные о том, как долго проходится каждый уровень и насколько он сложен. Проблема: люди, сыгравшие в игру, вероятно, не относятся к казуальным игрокам, так что они не являются репрезентативной рабочей выборкой вашей целевой аудитории. Я уверен, что когда-нибудь такое случалось.

Пример поновее: поговаривают, что в True Crime: Hong Kongиздатели из Activisionякобы потребовали, чтобы разработчики изменили пол главного персонажа с женского на мужской, так как их фокус-группа отдала предпочтение мужскому персонажу. Проблема: фокус-группа была составлена полностью из мужчин, или же вопросы были изначально так искажены теми, кто их составлял, чтобы продвинуть нужную им идею, а не выяснить истинное положение вещей. В Activision, конечно,всё это отрицают, но тема всё равно активно обсуждается во всём игровом сообществе… и дело не только в роли женщин в играх, а ещё и в использовании фокус-групп и статистики в гейм-дизайне. Такие вещи наблюдаются повсеместно, особенно в большой политике, где у множества людей есть свои личные интересы, и они готовы извратить результаты исследования и статистические методы, лишь бы доказать то, что им выгодно.

По сути, когда вы собираете данные тестирований, вам следует приложить все усилия, чтобы собрать тестеров, которые как можно ближе к вашей целевой аудитории, и вам следует провести как можно больше тестирований, чтобы отфильтровать все случайные помехи. Качество вашего анализа зависит от качества исходных данных!

И даже если вы пользуетесь статистикой «честно», всё равно существуют проблемы, с которыми сталкивается каждый дизайнер, в зависимости от разрабатываемой игры.

— Когда дело касается видеоигр, вы отданы на милость программистов, и с этим ничего нельзя поделать. Именно программисты вынуждены тратить своё время на написание кода для сбора показателей, которые вы запрашиваете. Время на программирование всегда ограничено, так что подчас вам придётся выбирать между тем, чтобы команда программистов воплощала механизм сбора данных… или воплощала собственно те игровые механики, которые вы разработали. И это при условии, что за вас не решил издатель или продюсер. В некоторых компаниях проще, в некоторых – сложнее, но так бывает, что сбор количественных показателей занимает то же место, что и аудио, локализация и тестирование – то есть задачи, которые откладываются до последнего, когда уже поздно что-то менять в лучшую сторону.

— Что до настольных игр – вы на отданы на милость тестеров. Чем больше вы соберёте данных, тем лучше, само собой. Но в действительности, видеоигра может быть выпущена в бета-версии и получить сотни и тысячи прохождений, тогда как с настольными играми, если оценивать всё реалистично, удастся сделать лишь малую толику этого при тестировании вживую. Чем меньше выборка, тем ненадёжнее данные тестирований.

— Для любой игры вам необходимо очень чётко знать заранее, что именно вы будете измерять и с какой точностью. Если вы проведёте несколько сотен тестирований, и лишь потом осознаете, что вам необходимо собрать данные об определённом состоянии игры, которые вы до этого не отслеживали, вам придётся проводить все тесты снова. Единственное, что вы можете с этим поделать – смириться с тем, что, как и сам дизайн, тестирование и сбор данных – процессы цикличные, и учитывать это при составлении графика работ.

— Кроме того, необходимо помнить, что независимо от разновидности игры очень, очень просто случайно всё спутать и получить неверный ответ – прямо как с вероятностями.В отличие от вероятности, в данной ситуации не проводится так много проверок работоспособности для того, чтобы неправильные числа выглядели неправильно, так как согласно определению вы не всегда точно знаете, что ищете или какого ответа ожидаете.Поэтому нужно действовать осторожно и использовать каждый возможный метод, чтобы провести независимую проверку полученных чисел.Также лучше представить себе заранее, какими могут быть вероятные результаты вашего анализа и что они будут из себя представлять.