4.7.4. Інструменти тестування та оцінювання

За сучасних темпів розроблення тестування повинне підтримуватися автоматизованими інструментами. Придбання та освоєння інструментів, або розроблення власних, вимагає початкових витрат, проте ці витрати виправдані, оскільки застосування інструментів дозволяє знизити загальні витрати праці, особливо при виконанні регресійного тестування, збирання і відстежування даних про дефекти, побудови звітів про результати тестування, а також при тестуванні нефункціональних характеристик.

В останнє десятиріччя за кордоном ринок інструментів тестування бурхливо розвивається, що свідчить про великий попит на них. На зміну аналізаторам коду і генераторам тестових даних для структурного і функціонального тестування, а також інструментам, що підтримують окремі методи тестування, прийшли промислові інтегровані інструменти тестування, які працюють практично на всіх апаратних і програмних платформах [36].

Єдиних підходів до класифікації інструментів тестування немає, оскільки інструменти, зазвичай, підтримують декілька методів тестування. Результати огляду інструментів тестування за даними Інтернет наведені в [2]. Зі всього спектру наявних промислових інструментів тестування деяке поширення в Україні отримали продукти відомої фірми Rational Inc. під загальною назвою Rational Suite TestStudio [www.rational.com].

Для підтримки планування і керуванням процесом тестування, а також для класифікації і відстежування дефектів, формування звітів про результати тестування, призначений продукт Rational Test Manager. Він дозволяє пов'язувати тести з вимогами, планами тестування, перевіряти повноту охоплення вимог набором тестів тощо. До основних звітів, які можна будувати в цьому інструменті можна віднести:

Звіти про дефекти. Група графічних і табличних звітів про вік дефектів, тенденції дефектів, розподіл дефектів по серйозності, симптомам, пріоритетам усунення;

Звіти про результати тестування. Група графічних і табличних звітів для відстежування динаміки виконання тестування і усунення дефектів.

Продукт інтегрований з іншими програмними продуктами Rational Suite, але може використовуватися самостійно для підтримки процесу тестування.

Серед звітів, які можна будувати за результатами тестування відсутні звіти з досягнутої надійності, вартості тестування та функції впорядкування цілей тестування стосовно ризику відмов компонентів.

Крім того, вартість придбання промислових інструментів тестування досить висока для вітчизняних проектів.

Незважаючи на важливість цього сектору ринку для України, сучасні вітчизняні промислові інструменти підтримки тестування автору дисертації не відомі. Тому розроблення вітчизняних інструментів підтримки інженерії тестування є актуальною проблемою для формування вітчизняного індустріального підходу до створення ПС.

Моделі оцінювання процесу тестування. Моделі зрілості можливостей (Capability Maturity Мodel (СММ)) слугує засобом для розроблення моделей оцінювання зрілості процесу тестування.

Концепція зрілості процесу була запропонована американським інститутом SEI (Software Engineering Institute) і знайшла своє відображення в п'ятирівневій моделі зрілості СММ, яка визначає характеристики процесів, що знаходяться на певному рівні зрілості, і вказує еволюційний шлях удосконалення процесів в організації до рівня зрілого дисциплінованого процесу.

Зрілість процесу згідно СММ – це ступінь точності визначення, керування, вимірювання і ефективності процесу.

Для оцінювання процесу тестування пропонується декілька моделей:

• зрілості тестування (Testing Maturity Model – TMM) [39];

• підтримки тестопридатності (Testability Support Model – TSM) [40];

• удосконалення тестування (Test Improvement Model – TIM) [41];

• удосконалення процесу тестування (Test Process Improvement Model);

• зрілості можливостей тестування (Testing Capability Maturity Model – TCMM).

• програма оцінювання тестування (TAP).

Моделі оцінювання процесу тестування впорядковують процеси тестування за рівнями зрілості від початкового до оптимізованого.

Результати аналізу цих моделей показують, що не дивлячись на значні структурні відмінності, моделі мають багато спільного у визначенні концепції зрілості процесу тестування, складі ключових напрямків процесу та процедурах оцінювання.

Ключові напрямки процесу (КРА) вказують напрямки діяльності, на яких повинна зосередити увагу організація для вдосконалення процесу тестування. Ці напрямки визначають коло проблем, які повинні вирішуватися для досягнення відповідного рівня зрілості (поняття КРА введене в моделі СММ).

Результат аналізу моделей свідчать, що їх можна застосовувати для оцінювання стану виконання процесів тестування в організаціях-розробниках ПС та побудови адаптованих моделей оцінювання процесу тестування. Всі моделі є за своєю суттю “декларативними” і вимагають пристосування до умов вітчизняних проектів.

1. У зв’язку з модою на зображення деяких ПрО засобами онтології, в додатку 3 приведена онтологія процесу тестування засобами Protégé.