1.4. Количественные и качественные методы оценки юзабилити-тестирования

В ходе юзабилити-тестирования исследуется, насколько продуктивно пользователи выполняют поставленные задачи и с какими трудностями они при этом сталкиваются. Технологии, которые отслеживают действия пользователей с программным продуктом, способны в автоматическом режиме собирать количественные статистические данные по действиям посетителей сайта.

Помимо технологии Eye-tracking, где объектом исследования служит направленность взора пользователя, Mouse-tracker представляет собой программное обеспечение, которое позволяет определять в реальном времени координаты компьютерной мыши, затем визуализировать, обрабатывать и анализировать их.

Принцип работы Mouse-tracker основан на "записи в реальном времени Х-, Y-координаты компьютерной мыши в пикселях и продолжительность задержки в данной точке. Получение такого рода информации требует определенных технологий и методов, которые в настоящее время используется" [14]:

• JavaScript. Используется для тестирования веб-страниц. JavaScript существует как часть веб-браузера. Используя этот язык, можно отслеживать движения мыши пользователя путем ввода строк кода на странице. Этот метод не требует какого-либо дополнительного программного обеспечения для установки на компьютере пользователя.

• Плагины. Плагин может быть аппаратным или программный. Модуль добавляет специфическую особенность или услугу к более крупной системе. В случае отслеживания мыши, подключаемые модули представляют собой программные модули. Плагины предназначены для того, чтобы настраивать особенности приложения или программы. Данные отслеживания траектории курсора мыши, предоставляемые плагинами, не отличаются от результата, полученного с помощью JavaScript. Отличие в использовании данного метода требует установки специального программного обеспечения.

Данный метод тестирует только законченный продукт, что делает его бесполезным при проектировании пользовательского интерфейса. Вследствие чего количество несоответствий стандартам юзабилити будет завышено.

Современные инструменты отслеживания курсора мыши выявляют различные данные, включая местоположение мыши (в пикселях), отметки о времени, в любое время наведении указателя мыши на ссылку интереса, щелчков мыши, время, проведенное в областях, представляющих интерес, и продолжительность. Кроме того, некоторые инструменты отслеживания обеспечивают анализ более высокого уровня, такие как карты тепла и воспроизведений, которые могут траекторию по следу мыши. Тепловая карта это один способов визуализации результатов тестирования (Рис. 3).

Рис. 3. Пример тепловой карты Mouse-tracker

Место, где пользователь чаще всего двигает курсор, отображается на карте тепла красным цветом. Ближе к нему идет желтый цвет. Зоны зеленые и синие показывают места, которые курсор проходил редко, и не практически не задерживаясь.

Стоит отметить, что тепловые карты mouse-tracker и eye-tracker основываются на разных количественных данных, что означает разное формирование карт.

Тепловые карты данных технологий могут быть объединены в одну тепловую карту, которая показывает сумму фиксаций взглядов и кликов пользователей. Цветовая интерпретация остается прежней. Совмещение результатов позволяет определить зоны повышенного интереса пользователей.

Основными преимуществами технологии mouse-tracker в сравнении с технологией eye-tracker являются следующие качества:

• испытания проходят в собственном доме гостей или офиса, обеспечивая точные результаты юзабилити с широким спектром размеров браузеров / операционные системы / экран и т.д.

• посетители не чувствуют наблюдения за действиями, тем самым более расслаблены.

• массовое исследование, тестирование всех посетителей.

• стоимость программного обеспечения значительно ниже.

При проведении оценка качества пользовательского интерфейса испытуемым предлагается выполнить определенный набор тестовых заданий. В процессе тестирования замеряют время, количество допущенных ошибок, также измеряются некоторые другие параметры (частота обращения к справочным материалам, число посещенных страниц на сайте и т. п.) [12].

Методы отслеживания действий пользователя является большим, чем базовая аналитика. Они позволяют выделять группы посетителей по используемым ими функциям сайта и действиям.

Относительная важность различных характеристик качества программного обеспечения зависит от предполагаемого использования или задач системы, частью которой это программное обеспечение является. Для того чтобы решить, удовлетворяют ли соответствующие характеристики качества требованиям системы, проводится оценка программных продуктов.

В ходе проводимого исследования общение между специалистом и испытуемым должно сводиться к объяснению тестовых заданий, когда в остальное время специалист играет роль наблюдателя, не вмешиваясь в процесс выполнения заданий пользователем. Только при соблюдении этого требования можно рассчитывать на объективность получаемых данных.

Основные характеристики юзабилити из стандарта по взаимодействию "человек-система" ГОСТ ИСО 9241-210-2012 включает в себя три базовые характеристики юзабилити и показатели оценки качества (табл. 3).

Таблица 3

Количественные измерения четырех показателей юзабилити в соответствии с базовыми характеристиками

Показатель юзабилити	Базовые характеристики юзабилити
	Эффективность	Продуктивность	Субъективная удовлетворенность
Соответствие задаче	Процент достигнутых целей	Время выполнения задачи	Рейтинговая шкала удовлетворенности
Приспособленность	Используемое число возможностей системы (процент ее мощности)	Эффективность работы по сравнению с опытным пользователем (экспертом)	Рейтинговая шкала удовлетворенности возможностями системы (ее мощностью)
Обучаемость	Процент усвоенных функций	Время обучения	Рейтинговая шкала легкости обучения
Терпимость ошибкам	Процент успешно исправленных ошибок	Время исправления ошибок	Рейтинговая шкала легкости обработки ошибок

Приведенный перечень некоторых возможных показателей, используется для оценки качеств юзабилити программного продукта и и определения его текущего уровня. Метриками юзабилити могут является такие показатели, как:

1. Общее время, время выполнения задачи и время, потраченное на обнаружение и исправление ошибок.

2. Процент или количество:

• выполненных задач;

• сделанных пользователем ошибок;

• участников, показавших более высокие результаты;

• благоприятных/неблагоприятных отзывов пользователя;

• раз использования помощи или документации;

• раз интерфейс вводил пользователя в заблуждение

• повторений неудавшихся действий;

• возвратов назад в действиях;

• произведенных действий;

• раз пользователи отрывались от работы;

• раз пользователи сталкивались с неясной ситуацией, для решения которой они были вынуждены тратить время

Тестирование юзабилити оценивает уровень удобства использования приложения по следующим характеристикам:

• производительность, эффективность (efficiency) – определяет количество времени и шагов требуемых пользователю для выполнения основных задач программного продукта, например, размещение новости, регистрации, покупка и т.д. (меньше – лучше);

• правильность (accuracy) – определяет количество ошибок сделаных пользователем во время использования программного обеспечения (меньше – лучше);

• активизация в памяти (recall) – определяет как много пользователь помнит о работе приложения после приостановки работы с ним на длительный период времени (повторное выполнение операций после перерыва должно проходить быстрее, чем у нового пользователя);

• эмоциональная реакция (emotionalresponse) – определяет как пользователь себя чувствует после выполнения задачи – напряжен, испытал стресс и т.д. Порекомендует ли пользователь систему своим друзьям (положительная реакция – лучше).

Методы исследования удобства использования делятся на количественные и качественные. В процессе количественного исследования полученные данные эргономичности определяются количественно, тогда как качественные исследования нацелены на накопление более полных представлений и наблюдений.

Количественные исследования содержат осуществление различных опросов, основанных на использовании структурированных вопросов закрытого типа, на которые отвечает большое число респондентов. Основной задачей количественных исследований является получение численной оценки состояния рынка или ответной реакции респондентов на определенное событие. Такие исследования применяются, когда необходимы точные, статистически надежные численные данные.

Например, количественное исследование может показать, что пользователю требуется в среднем 5,2 минуты, для того чтобы оформить заказ на 12 белых роз с использованием сайта цветочного магазина, тогда как качественное исследование выявляет, что пользователю было затруднительно указать дату доставки цветов из-за определенных просчетов в оформлении сайта. Оба вида исследований показывают интересные результаты, но для организации успешной торговли цветами более ценным оказывается качественное исследование. Соответственно, количественные исследования могут дать некоторое расширенное представление об изучаемом явлении, но это представление вторично по отношению к полученным цифрам и обнаруживается не так часто в силу особенностей проведения количественного исследования.

Качественные методы осуществляют сбор данных в свободной форме. Они фокусируются не на статистических измерениях, а опираются на интерпретацию, объяснение, понимание и эмпирические данные, которые определяются как источник формирования продуктивных идей и гипотез. Проблемой методов качественных исследований является получение разведочных данных, а не количественное распределение суждений. В качественных методах для объяснения и интерпретации понятия, применяются слова, а не цифры. Иначе говоря, они отвечают не на вопрос "сколько", а на вопросы "что", "как" и "почему" [91].

Понятие «результативности» пользовательского интерфейса связано с точностью и полнотой достижения основных целей или вторичных целей пользователя.

Определение «эффективности» пользовательского интерфейса связано с отношением достигнутого результата и использованными ресурсами. Ресурс включают в себя умственные или физические усилия, материалы, время или финансовые расходы. Эффективность деятельности человека может быть измерена как результативность, деленная на затраченные усилия.

Удовлетворенность пользовательского интерфейса выражает степень свободы пользователей от дискомфорта и их отношение к использованию программного обеспечения. Удовлетворенность может быть определена с помощью шкал субъективных оценок, например удовлетворенности использованием, степени испытанного дискомфорта или приемлемости рабочей нагрузки при выполнении различных задач, или с помощью оценок степени достижения определенных результатов (например, пригодности для изучения или эффективности).

Собирая результаты объективных измерений, не менее важно узнать мнение самих пользователей по поводу того задания, которое им пришлось выполнять. Это помогает выяснить, насколько оказались удовлетворенными (полностью или частично) пользователи. Пользователь может завершить задание довольно быстро, но остается неудовлетворенным, или потратить много времени, не беспокоясь о результате.

Для разработки спецификации оценки, требуется определить показатели. Показатели базируются на методах оценки, выбранных в соответствии с характеристиками качества и уровнями оценки. В дальнейшем изложении список методов оценки для каждой характеристики качества предлагается располагать в порядке возрастания уровня оценки - от меньшего уровня требований до больших уровней.

Специалисты по юзабилити должны выбрать показатели качества (модули оценки), чтобы они покрыли все требования к оценке качества программной продукции.

Показатели качества информационной системы для каждой части целевой продукции, подлежащей оценке, должны быть определены исходя из цели оценки качества:

• в случае оценки спецификации требований на этапе анализа проекта показатели качества должны быть выбраны из совокупности показателей внешнего качества и показателей качества использования;

• в случае оценки промежуточных продуктов на этапе внедрения показатели качества должны быть выбраны из совокупности показателя внутреннего качества;

• в случае оценки завершенных промежуточных продуктов на этапе поблочного тестирования показатели качества должны быть выбраны из совокупности показателей внутреннего качества;

• в случае оценки конечных продуктов на стадии комплексного тестирования показатели качества должны быть выбраны из совокупности показателей внешнего качества и показателей качества использования.

Требования к оценке качества продукции должны быть определены отдельно для каждого компонента программного обеспечения, которому соответствуют используемые для оценки качества программного обеспечения показатели качества.

Если выбранные методы оценки основываются на использовании программного инструмента, инструмент должен быть идентифицирован в плане оценки.

Спецификация методов оценки должна полностью определять компоненты продукции, к которым эти методы следует применять.

Если для интерпретации результатов оценки требуется экспертный анализ результатов измерений, то процедура интерпретации должна быть определена в спецификации оценки.

Для надежности сопоставления измеренных значений свойств целевых продуктов и значений критерия требуются проведение строгих измерений.

Процедуры измерения должны позволять применять функции измерения к характеристикам качества программного обеспечения (или подхарактеристикам). Они должны обеспечивать уверенность в том, что измерения произведены с точностью, достаточной для определения критериев и выполнения необходимых сравнений. Сравнение продуктов с различными свойствами с данными из опросных листов и мнениями эксперта могут не обеспечивать должный уровень надежности.

Для возможных ошибок измерения, вызванных измерительными инструментами или человеческими ошибками, должен быть определен допустимый диапазон ошибок [41].

Спецификация оценки должна включать в себя следующее:

• область применения оценки со ссылкой на компоненты продукции, как указано в ее описании;

• перекрестные ссылки между информацией, необходимой для выполнения оценки, компонентами целевой продукции и другими соответствующими документами, перечисленными в описании продукции;

• спецификация выполняемых измерений и проверок со ссылками на компоненты целевой ИС;

• соответствие спецификации измерений и проверок требованиям к оценке, со ссылками на стандарты или обоснования для каждого из перечисленных измерений или проверок.

Эту задачу обычно выполняют в основном при оценке качества промежуточных продуктов последовательными итерациями, поскольку некоторые показатели могут быть выбраны только по мере разработки проекта программного обеспечения.

Показатели внутренних свойств можно использовать в качестве характеристик промежуточных продуктов.

В частности, показатели внутренних свойств программного обеспечения зачастую используются как показатели качества конечной продукции; однако какая-либо общая или непосредственная связь между измеренными значениями показателей внутреннего качества и значениями показателей внешнего качества не подтверждается.

В случае регулярного использования соответствующих внутренних показателей, некоторые из показателей могут быть использованы для выявления тенденции качества продукции в процессе разработки программного обеспечения.

Примерами таких показателей тенденции являются: "Количество тестирования завершенных модулей", "Количество разрешенных проблем", "Количество измененных требований", в течение каждой недели и т.д.

Значения таких показателей внутренних свойств используют в качестве индикаторов характеристик или под характеристик качества продукции. Соответствующие промежуточные продукты должны быть проанализированы, а данные внутренних измерений получены для того, чтобы:

• оценить качество промежуточных продуктов, чтобы определить, удовлетворяются ли требования к качеству;

• предсказать качество конечного продукта.

Помимо качественных измерений, используется четыре основных способа количественных измерений, которые нередко применяются в исследованиях удобства применения: хронометритованием времени выполнения задания, оценкой успешности выполнения задания, выявлением ошибок и выяснением субъективной удовлетворенности испытуемых результатами. Кроме того, было принято во внимание количество фиксаций взглядов испытуемых на различных стадиях выполнения заданий, а также их полезность или бесполезность.