Глава 3: Типы тестов ... 83

сбоить. В конце такого оценочного тестирования у вас должно сложиться определенное представление о том, с чем вы имеете дело: сколько в про- I рамме ошибок и насколько тяжело будет ее протестировать. К сожалению, мы не сможем сказать, как транслировать это представление в человеко­часы — вам придется полагаться только на собственный опыт и професси­ональное чутье.

Обычно предварительная оценка стабильности программы занимает около недели. Если для тестирования всех ее функций этого времени не­достаточно, проверьте часть из них. Но обязательно включите в свой отчет обзор каждого раздела руководства.

И не стоит рассчитывать разобраться с программой меньше чем за неделю, если только она не элементарна и если это не очередная версия продукта, который вы много раз протестировали.

Функциональное и системное тестирование, сверка и аттестация продукта

Когда программный продукт готов и протестирован, он должен прой­ти ряд завершающих тестов. Прежде всего, он должен быть еще раз сверен с наиболее подробными и близкими к нему проектными документами. В частности, должно быть проведено функциональное тестирование, при кото­ром продукт сверяется с внешней спецификацией.

Затем программа сверяется с опубликованной печатной документацией

— пользовательскими (тестирование целостности) и системными (систем­ное тестирование) требованиями. Эти две процедуры носят название атте­стационного тестирования.

В разговорах о тестировании вы можете встретиться с одним из попу­лярных терминов — Independent Verification and Validation (IV&V — неза­висимая сверка и аттестация). Он означает сверочное и аттестационное тестирование, проводимое независимым агентством.

Более подробное описание процедуры сверки и аттестации можно найти у Андриоле (Andriole, 1986) и в документе IEEE Standard for Software Verification and Validation Plans (ANSI/IEEE Standard 1012-1986).

Бета-тестирование

И вот наконец вы подтверждаете, что программа достаточно стабильна и документация в порядке. Это значит, что наступило время для обратной связи с пользователями — бета-тестирования.

На этом этапе с программой работают ее потенциальные пользователи. Они эксплуатируют программу и присылают или высказывают вам свои замечания. Поскольку бета-тестировщики знают, что в программе могут оставаться еще очень серьезные ошибки, они не работают с ней полный день — на 20 часов тестирования у них уходит около трех недель.

84 Часть I: Основы

20 часов работы бета-тестировщика для компании- разработчика вовсе не бесплатны. Вам или другому сотруднику компании приходится тратить на каждого из них от 4 до 8 часов, вербуя новых людей, давая им консультации и отвечая на их вопросы. Кроме того, нужно писать для них инструкции и разрабатывать вопросники.

Однако в определенных ситуациях бета-тестировщики работают с про­дуктом гораздо более основательно. Вот какими могут быть их мотивации.

• Пользователю очень нужен ваш продукт, даже если он и не надежен, а других подобных продуктов на рынке нет.

• Вы достаточно платите. Обычно в качестве платы за бета-тестиро­вание пользователь получает или бесплатную копию продукта, или значительную скидку. Если продукт дорогой, этого достаточно. Но если речь идет о программе, предназначенной для доступа к важной информации, и в этой программе происходит сбой, потеря данных может обойтись пользователю гораздо дороже стоимости программ­ного продукта.

• Вы даете пользователю выгодную гарантию. Например, вы обещае­те, что в случае сбоя программы сотрудник вашей компании бес­платно введет потерянные данные.

Здесь мы привели лишь краткий обзор процедуры бета-тестирования, а подробное ее описание вы найдете в главе 13.

Тестирование целостности готового продукта и тестирование распространяемых копий

С завершением тестирования последней бета-версии готового программ­ного продукта возможные проблемы не заканчиваются. Ведь нужно еще убедиться, что он в целости и сохранности попадет к клиенту. Нередко и на этом этапе случаются всевозможные неприятности: например, компании отсылают пользователям пустые или инфицированные диски.

Для тестирования распространяемых копий вы собираете все, что будет отправлено пользователю или производителю, проверяете, все ли на мес­те и в порядке, и делаете архивные копии. Только после этого продукт отправляется по назначению.

Комплект дисков проверить проще всего: нужно просто выполнить их двоичное сравнение с последней версией продукта. Не пренебрегайте этой процедурой, даже если для создания дисков вы пользовались уже проверен-