4.7.3. Методи тестування. Метрики і критерії

Методи тестування відрізняються підходами до вибору множини тестових даних із вхідного простору тестовуваних функцій. Кожний метод надає відповідний критерій покриття набором тестів вхідного простору.

Традиційна класифікація методів тестування базується на їхньому розділенні на дві категорії – «чорна скрінька» (функціональне) і «біла скрінька» (структурне) [20, 21, 24] – і враховує лише два підходи до проектування тестів. Сучасна класифікація методів тестування, заснована на підходах до проектування тестів.

Вибір найбільш ефективних методів тестування за певних умов та на різних рівнях тестування є складною проблемою та пов’язаний з аналізом ризиків відмов ПС.

Метрики тестування. Виміри в програмній інженерії мають велике значення, оскільки їх використання дозволяє одержувати об’єктивну інформацію щодо стану ПС та процесів розроблення. Рекомендований склад метрик наведено в стандарті ISO/IEC 9126.

Оскільки основними процесами, які зазвичай досліджуються в інженерії якості та надійності, є процеси “внесення помилок”, “усунення дефектів” та “процес виникнення відмови”, основними метриками вважаються “кількість дефектів”, “щільність дефектів” та “інтенсивність відмов”.

Кількість дефектів, виявлених тестуванням, не можна вважати хорошим індикатором якості ПС, вони більшою мірою слугують індикаторами ефективності тестування [29]. В той же час, невелика кількість дефектів, виявлених під час тестування, не є індикатором поганого тестування, а може свідчити про ефективність процесу розробки. Об’єктивним індикатором ефективності тестування є відношення:

E_e = D_e / D_e +D_o

де E_e – ефективність тестування, D_e – кількість дефектів, виявлених під час тестування, D_o – кількість дефектів, виявлених при експлуатації.

На жаль цей індикатор не можна використовувати для керування процесом тестування, оскільки значення D_o можна отримати надто пізно.

Реєстрація дефектів повинна бути однією з цілей процесу тестування, вона, також, визначена як обов’язкова вимога базового стандарту з якості ISO 9000–3. Реєстрація дефектів слугує основою для формування банків історичних еталонних даних по програмних проектах, які можуть використовуватися для вдосконалювання процесів програмної інженерії. Аналіз даних про щільність дефектів в програмних продуктах дозволив визначити середній показник щільності дефектів – 6 дефектів на 1000 рядків для США і Європи, 2 – для Японії [2].

Крім цих базових метрик для вимірювання результатів тестування корисними є такі метрики:

1. метрики оцінювання набору тестів відповідно до обраного критерію покриття, як от метрики покриття тестових вимог, коду чи функцій;

2. метрики тенденцій дефектів (знайдених, усунутих, по серйозності, пріоритету тощо).

Крім того, для ефективного керування процесом тестування важливими метриками є час і вартість тестування.

Щодо практичного використання метрик для керування процесом тестування існує декілька проблем, а саме:

• збирання початкових даних для обчислення метрик;

• інтерпретація результатів розрахунку та ступінь довіри до них;

• яким чином використовувати метрики для керуванням тестуванням на кожному рівні;

• вибір мінімальної множини метрик, прийнятних в контексті певного процесу тестування.

Метрики для включення в процес тестування повинні вибиратися таким чином, щоб слугувати об'єктивними індикаторами стану виконання процесу тестування і поточного стану ПС.

Критерії завершення тестування. Об’єктивні критерії завершення тестування ґрунтуються на кількісних вимірах, які поділені по чотирьох категоріях:

1. критерії, базовані на метриках покриття;

2. критерії, базовані на серйозності дефектів;

3. критерії, базовані на оцінках інтенсивності відмов та надійності;

4. критерії оптимізації вартості, часу тестування та надійності.

У першому підході критерії підрозділяють на структурні та функціональні. Ці критерії є індикатором повноти виконаного тестування, але не враховують час, витрачений на тестування. Тестування припиняють при досягненні граничних значень.

Критерії другої категорії базуються на розподілі виявлених дефектів за ступенем серйозності та встановленні граничних значень кількості усунутих дефектів з урахуванням їхньої серйозності. Тестування припиняють, якщо усунені всі найбільш серйозні дефекти і визначена кількість дефектів інших типів серйозності. Ці критерії не враховують час, витрачений на тестування та усунення дефектів.

В критеріях третьої категорії, базованих на оцінках інтенсивності відмов та надійності, тестування продовжують до тих пір, поки не будуть досягнуті встановлені граничні значення метрик надійності (інтенсивність відмов, середній час функціонування без відмови, або ймовірність безвідмовної роботи). Ці критерії не враховують наслідки відмов, а лише їх ймовірність.

Критерії оптимізації (четверта категорія) спрямовані на пошук “компромісу” між часом тестування та вимогами до якості. Ці критерії базовані на використанні моделей надійності за визначенням оптимального часу тестування.

Нехай С₁ – вартість усунення однієї відмови під час розроблення та тестування; С₂ – вартість усунення відмови при експлуатації, С₂>С₁; С₃ – вартість одиниці часу тестування (наприклад, одного дня), t_e – час тестування, (t_e) – інтенсивність відмов ПС при експлуатації за умови, що тестування здійснювалося протягом часу t_e;  (t_e) – функція зростання надійності.

Тоді повна вартість тестування та усунення дефектів при експлуатації за умови, що ПС тестується час t_e – є сума:

де – витрати на усунення відмов при тестуванні;

– витрати на пошук та усунення відмов при експлуатації, де y –очікуваний час експлуатації;

– витрати на тестування.

Знаходження часу тестування t_e^* , при якому повна вартість усунення дефектів під час тестування та експлуатації буде мінімальною,

t_e^* = {t: D(T/t)  D(T/t_e^*), 0  t  t_max },

де t_max – максимально допустимий час тестування.

Згідно цього критерію тестування може бути завершеним, якщо:

• всі заплановані функціональні тести пройшли;

• структурне тестування було виконано набором тестів, який забезпечує 100% покриття рядків коду, 80% покриття логічних умов і 100% покриття викликів процедур;

• інтенсивність виявлення відмов не вище 40 нових відмов на 1000 годин тестування;

• тривалість безперервного функціонування ПС без відмови досягає 100 годин.

В умовах обмежених ресурсів на тестування критерій завершення повинен встановлюватися, виходячи з оцінок ризику відмови ПС. Він має враховувати, які ідентифіковані ризики усунені шляхом тестування, і якою є серйозність дефектів, що залишилися.