Метод регрессивного тестирования

Оба вышеописанных процесса могут служить основой третьего, регрессивного тестирования. Это метод повторного тестирования измененного программного продукта в целях проверки отсутствия ошибок в раннее нормально работавших функциях, вызванных исправлением выявленных ошибок или добавлением новых функциональных возможностей.

Сохранив тестовые наборы для «черного» и «белого» ящиков, можно использовать их для регрессивного тестирования, осуществляя контроль целостности кода по мере того, как он модифицируется. При выполнении регрессивного тестирования можно сразу же после изменения текста определять, не появились ли новые ошибки, и устранять их немедленно после возникновения, тем самым, препятствуя распространению ошибки. Как правило, этот подразумевает повторное выполнение всех ранее использованных процедур тестирования. Это тестирование позволяет полностью гарантировать, что программное обеспечение работает именно так, как планировалось.

Регрессионное тестирование имеет большое значение потому, что внесенные в программу коды изменений и исправлений ошибок, как правило, более подвержены ошибкам, чем исходные коды программы. Например, в литературе приведены результаты исследований, проведенных в одной крупной компании, занимающейся сопровождением программ. В результате этих исследований выяснилось, что даже однострочное изменение программы с вероятностью 55% сохраняло ошибку или вносило новую.

Метод «Серого ящика»

Тестирование с использованием метода «Серого ящика» (gray box) предполагает рассмотрение в качестве объектов тестирования не все приложение в целом, а отдельные его интерфейсы, как пользовательские, так и прикладные.

В сравнении с методикой «Черного ящика» затраты на разработку и запуск тестов значительно выше, поэтому ее применение при тестировании приложений имеющих интерфейс пользователя обычно ограничивается его тестированием, что связано с частыми его вариациями. Основным недостатком данного метода является то, что программный продукт не тестируется в полном объеме, и, следовательно, только часть ошибок может быть выявлена.

Метод опытной эксплуатации

Тестирование на основе того, что пользователи реально делают с программой. Бета-тестирование, а иногда приемно-сдаточные испытания предполагают выполнение заказчиком заранее определенного набора тестовых ситуаций, имитирующих типовые условия, в которых программа будет работать после ввода в эксплуатацию. Заключительным этапом приемочных испытаний является установочная проверка, по условиям которой завершенная версия программного продукта устанавливается на объектах заказчика с целью получить от него подтверждение, что программный продукт соответствует всем требованиям.

Тестирование эргономичности

Это тестирование является частью процесса создания необходимых условий для «удобства пользователя». Этот метод тестирования включает набор методов, которые позволяют тестировщикам проверить программный продукт на удобство использования ее конечным пользователем. Типичный тест на эргономичность заключается в том, что пользователи выполняют с прототипом (или другой программой) ряд операций, в то время как наблюдатели документируют все, что они делают и говорят. Такое тестирование проводится одновременно с одним или несколькими пользователями работающими вместе.

Тестирование может включать сбор информации о последовательности действий, совершаемых пользователем в процессе выполнения задачи; ошибок, которые они делают; когда и чем они недовольны; насколько быстро они выполняют операции; преуспевают ли они в выполнении этих операций, а так же насколько они удовлетворены. Цель большинства тестов на эргономичность состоит в том, чтобы обнаружить любые проблемы, с которыми может столкнуться пользователь, и устранить их.

Внимательное изучение этих методов тестирования показывает, что они дополняют друг друга, то есть различные методы находят разные ошибки. Поэтому наиболее эффективными методиками тестирования при разработке программного обеспечения являются методики, которые обладают элементами этих методов, используя позитивные черты каждой из них. Обычно разрабатывается комплект тестов в соответствии с критериями какого-либо из методов «черного ящика», а затем полученный комплект дополняется тестами для проверки наиболее сложных узлов и логики программы.