4.7. Інженерії тестування програмних систем

4.7.1. Основні поняття інженерії тестування

Майерс визначає цей термін в найбільш вузькому сенсі: "тестування – процес виконання програми (або її частини) з метою виявлення помилок…". Відлагодження (debugging) – визначення точної причини відомих помилок і їх виправлення".

Хоча динамічне тестування стосується ПЗ, програмної системи, складних програмних систем,, встановлюваних на комп’ютері.

В ході розроблення програмна система представлена робочими артефактами (документами, схемами, вимогами, кодом тощо). Наприкінці процесу вона набуває статусу програмного продукту.

Відповідно до ДСТУ 3918–99 для контролю якості програмних продуктів (включаючи всі робочі артефакти) призначені процеси верифікації і валідації.

Верификавція і валідація. Задача верифікації і валідації – перевірити і підтвердити, що кінцевий програмний продукт (ПП) буде відповідати своєму призначенню і задовольняти користувачів. Ці процеси контролюють якість шляхом виявлення помилок в продуктах процесів ЖЦ, не досліджуючи причин появи цих помилок [13].

Мета верифікації – досліджуючи трансформації одних (вхідних) робочих артефактів в інші (вихідні) необхідно перевірити, чи правильно розробляється програмний продукт (наприклад, чи правильний код програмного модуля по відношенню до специфікації цього модуля або компонента).

Мета валідації – досліджуючи сукупність робочих артефактів, отриманих на певному етапі процесу розробки, переконатися в тому, що вони розроблені правильно, тобто відповідають призначенню і специфікованим початковим вимогам до ПП (наприклад, сукупність програмних модулів дійсно представляє необхідний програмний продукт, виконані тести дійсно достатні для перевірки всіх функцій ПС тощо).

Ці процеси взаємозв'язані і звичайно визначаються«Verification and Validation» (V&V) у зарубіжній літературі. Процеси V&V повинні виконуватися, починаючи з самих ранніх стадій ЖЦ ПС.

Тестування. Тестування відноситься до основних процесів ЖЦ ПС і його вважають ключовим методом V&V.

З тестуванням пов’язані такі поняття як “помилка”, “дефект”, “відмова”, “проблема”, “аномалія”.. Ці поняття по-різному визначаються не лише в науковій літературі з якості та надійності ПС, але і в стандартах.

Зокрема, стандарт ANSI/IEEE–729–83 дає два визначення поняття відмови (failure):

1) відмова – це неможливість обчислювальної системи або її компоненту виконувати необхідні функції в межах специфікованих обмежень;

2) відмова – це відхилення програми від функціювання, визначеного вимогами до програми.

Відмова ПC (failure) – це подія, яка полягає в переході ПС з працездатного стану в непрацездатний або отриманні результатів за межами допустимих значень.

Відмови можуть бути обумовлені як зовнішніми чинниками , так і внутрішніми чинниками – дефектами в ПС.

Дефект (fault) у ПС – це подія, пов’язана з невірною інтерпретацією деякого елемента комп’ютером (помилці (fault) в програмі) або людиною, яка породжена помилковим описом деякого елемента програми (коду) або тексту документа (робочого артефакту), який може призвести до цього. Він завжди є наслідком помилок розробника на будь-якому з процесів розроблення. Дефекти можуть мати специфікації вимог, початкові або проектні специфікації, тексти коду, експлуатаційна документація тощо.

Помилка може бути наслідком недоліків в одному з процесів розроблення ПС, що призводить до неправильної інтерпретації початкової інформації людиною і ухваленню невірних рішень.

Не кожний дефект ПС може викликати відмову. Не кожна відмова може бути пов'язана з дефектом у ПС або відмовою середовища (помилкова відмова, наприклад, через дефекти в тестах, апаратна відмова). Будь-яка відмова (як подія) супроводжується появою аномалії (проблеми) – зовнішнього прояву помилок і дефектів. Дефекти в програмі, є джерелом потенційних помилок і відмов ПС. Відмови залежать від сценарію (шляху) користувача , а також від вхідних даних.

Під час тестування при виявленні відхилення результатів виконання від очікуваних, це відхилення фіксують як “проблему” до з’ясування її причин.

Тестування полягає в динамічній перевірці поведінки програми на скінченій множині тестових даних, спеціальним чином вибраних з нескінченного вхідного простору, на відповідність встановленій очікуваній поведінці програми.

Скінчене: навіть для невеликої програми теоретично можливо створити таку кількість тестів, для виконання яких можуть знадобитися роки. Неповнота – одна з основних проблем тестування, оскільки на практиці повну множину тестів можна розглядати як нескінченну. Кількість тестів, які можуть бути виконані в обмежені терміни, скінчена. Т.е., тестування має певний «компроміс» між обмеженими термінами і потенційно необмеженою кількістю тестів. Це призводить до відомих проблем тестування, таких як ухвалення рішень про адекватність тестування, і проблем керування, пов’язаних з оцінками витрат (вартості, часу, персоналу) на тестування.

Методи тестування, в цілому, відрізняються підходами до вибору множини тестових даних з вхідного простору.