Анализ результатов usability-тестирования пи

ANSI NCITS 354-2001

Использование этого оценочного листа гарантирует, что необходимые элементы, помеченные знаком ◦,включены в CIF-отчет.

Р екомендуемые пункты в проверочном листе представлены символом

Титульный лист

• Имя или логотип компании

• Название отчета

• Имя и версия программного продукта, который тестируется

• Ф.И.О.проводящего тестирование

• Дата тестирования

• Дата подготовки отчета

• Ф.И.О.подготовившего отчет

• Название организации заказчика

• Контактный представитель организации заказчика

• Контактный представитель заказчика для решения всевозможных вопросов

• Номер телефона

• Адрес электронной почты

• Почтовый адрес

Резюме

• Назначение отчета

• Имя и описание продукта

• Общая характеристика методов тестирования, включающая в себя типы и количество участников, а также их задания

• Результаты тестирования, представленные статистическими показателями

• Обоснование критериев тестирования

• Табличное представление результатов эффективности

• Статистические показатели, подтверждающие достоверность различий количественных показателей тестирования

Введение

Полное описание продукта

• Формальное имя продукта, версия или релиз

• Описание составляющих продукта, которые были оценены

• Описание представителей пользователей, для которых предназначен продукт

• Описание представителей пользователя с определенным уровнем подготовки, физическим состоянием, интересом к познавательному процессу, особенностями речи и др.

• Краткое описание физической среды, в которой будет использован продукт

• Описание видов деятельности пользователя, поддерживаемых продуктом

Цели тестирования

• Описание целей тестирования

• Функции и компоненты, с которыми пользователь непосредственно или косвенно работает

• Причины выбора отдельных частей продукта для тестирования

Методы

Участники испытаний

Количество тестируемых участников

• Сегментация пользовательских тестируемых групп в случае, если таких групп несколько

• Основные характеристики и возможности группы пользователей

• Отбор участников, их характеристики, критерии отбора

• Различия между выборкой участников и генеральной совокупностью пользователей

• Таблица, содержащая код участника, записанного в строках, и его характеристику, записанную в столбцах

• Описание групп участников, имеющих физические недостатки

Контекст использования продукта

• Различия между измеренным и ожидаемым контекстами использования

Задачи

• Описание сценариев задач, которые тестируются

• Объяснение, почему были выбраны именно эти задачи для тестирования

• Описание источников этих задач

• Описание всех задач, предложенных пользователю

• Описание критериев завершения для каждой задачи

Испытательное оборудование

• Описание настроек и типов среды, в которых выполняли оценку

• Подробное описание функций или обстоятельств, которые могли бы повлиять на результат тестирования

Компьютерные средства для участников испытания

• Конфигурация компьютера, включая модель, версию операционной системы, необходимые библиотеки или настройки

• Если используется браузер, указывают его имя, версию, соответствующие имена плагинов и их версии

• Устройства отображения информации

• Если устройство отображения – экран, то указывают его размер, разрешающую способность, настройки цвета

• Если устройство отображения – печать, то приводят размер бумаги, разрешающую способность

• Если визуальные элементы интерфейса различаются размерами, необходимо указать размер, используемый в тесте

Аудиоустройства

• Описывают значения установок звука и аудиоустройств

Руководство для устройств ввода

• Если используют устройства ввода, то указывают марку и его модель

Инструменты тестирования

• Описать анкету, если она была использована

• Описать оборудование и программное обеспечение, которое применялось для управления тестом или записи данных

Планирование исследования

• Описание логического планирования теста

• Определение зависимых и контролируемых переменных

• Описание метрик, для которых приведены данные по каждому набору условий

• Процедуры

Оперативное определение используемых метрик измерений

• Установление зависимых и контролируемых переменных

• Время выполнения задач

• Правила и процедуры взаимодействия тестеров и объектов тестирования

• Описание последовательности проведения процедуры тестирования: от приветствия до ее окончания

• Описание соглашения о нераспространении информации, разминке, предтестовом обучении, завершении тестирования, опросе после тестирования

• Проверка знаний участниками своих прав и обязанностей

• Ознакомление с последовательностью шагов тестирования и записи данных

• Количество и роли сотрудников, которые взаимодействовали с участниками в ходе испытаний

• Описание других лиц, которые участвовали в процессе тестирования

• Оплата услуг лиц, принимающих участие в тестировании

Общие инструкции участникам

• Инструкции, которые рекомендованы участникам (в отчете или в приложении А)

• Инструкции участникам о взаимодействии с другими лицами, принимающими участие в тестировании, в том числе, как они должны обращаться за помощью

Инструкции к выполнению участниками тестовых заданий

• Общая инструкция к выполнению тестовых заданий

Метрики usabilityПИ

• Метрики эффективности ПИ

• Метрики производительности ПИ

• Метрики удовлетворенности ПИ

Эффективность

• Критерий завершения

• Ошибки

• Помощь

Производительность

• Критерии завершения

Удовлетворенность

• Критерии завершения

Результаты

Анализ данных

• Сбор и оценка данных

• Потеря данных

• Статистическая обработка данных

Представление результата

• Табличное представление результата каждой задачи или группы задач

• Результаты эффективности и производительности

• Суммарная таблица, содержащая результаты эффективности и производительности выполнения всех задач

• Графическая интерпретация результатов эффективности и производительности выполнения всех задач

Результаты удовлетворенности

• Табличные результаты удовлетворенности

• Суммарная таблица, включающая в себя результаты удовлетворенности

Приложение

• Анкеты для пользователей

• Общая инструкция участникам для проведения тестирования (если она не присутствует в этом отчете)

• Инструкция по выполнению тестовых заданийдля участников

• Релиз о выпуске, дополняющий или объясняющий результаты испытаний

Приложение А

• Проверочный лист, оформленный в соответствии с форматом CIF

Приложение Б

• Глоссарий, содержащий список терминов и их определения