12.2. Тестування програми як "чорного ящика". Тестування програми як "білого ящика".

Тестування програми як "чорного ящика"

Одним із способів вивчення поставленого питання є дослідження стратегії тестування, званою стратегією "чорного ящика", тестуванням з управлінням за даними або тестуванням з управлінням по входу-виходу. При використанні цієї стратегії програма розглядається як "чорний ящик". Іншими словами, таке тестування має на меті з'ясування обставин, в яких поведінка програми не відповідає специфікації. Тестові ж дані використовуються тільки відповідно до специфікації програми (т. е. без урахування знань про її внутрішню структуру).

При такому підході виявлення усіх помилок в програмі є критерієм вичерпного вхідного тестування. Останнє може бути досягнуте, якщо як тестові набори використовувати усі можливі набори вхідних даних.

Якщо таке випробування представляється складним, то ще складніше створити вичерпний тест для великої програми. Образно кажучи, число тестів можна оцінити "числом більшим, ніж нескінченність".

Побудова вичерпного вхідного тіста неможлива. Це підтверджується двома аргументами: по-перше, не можна створити тест, що гарантує відсутність помилок; по-друге, розробка таких тестів суперечить економічним вимогам. Оскільки вичерпне тестування виключається, нашою метою повинна статі максимізація результативності капіталовкладень в тестування (іншими словами, максимізація числа помилок, що виявляються одним тестом). Для цього мі можемо розглядати внутрішню структуру програми і робити деякі розумні, але, звичайно, що не мають повної гарантії достовірності припущення.

Тестування програми як "білого ящика"

Стратегія "білого ящика", або стратегія тестування, керованого логікою програми, дозволяє досліджувати внутрішню структуру програми. Тій, що в цьому випадку тестує отримує тестові дані шляхом аналізу логіки програми (на шкода, тут часто не використовується специфікація програми).

Порівнянний спосіб побудови тестів при цій стратегії з вичерпним вхідним тестуванням стратегії "чорного ящика". Необізнаному може здатися, що досить побудувати такий набір тестів, в якому кожен оператор виконується хоч би один раз; неважко показати, що це невірно. Не вдаючись до деталей, вкажемо лише, що вичерпному вхідному тестуванню може бути поставлене у відповідність вичерпне тестування маршрутів. Мається на увазі, що програма перевірена повністю, якщо за допомогою тестів вдається здійснити виконання програми по усіх можливих маршрутах її потоку (графа) передач управління.

Останнє твердження має два слабкі пункти. Перший з них полягає в тому, що число маршрутів, що не повторюють один одного, в програмі - астрономічне. Другий слабкий пункт твердження полягає в тому, що, хоча вичерпне тестування маршрутів є повним тестом і хоча кожен маршрут програми може бути перевірений, сама програма міститиме помилки. Це пояснюється таким чином.

По-другу, програма може бути невірною внаслідок того, що пропущені деякі маршрути. Вичерпне тестування маршрутів не виявить їх відсутності.

По-перше, вичерпне тестування маршрутів не може дати гарантії того, що програма відповідає опису. Наприклад, замість необхідної програми сортування за збільшенням випадково була написана програма сортування по убуванню. У цьому випадку цінність тестування маршрутів невелика, оскільки після тестування в програмі опиниться одна помилка, т. е. програма невірна.

По- третє, вичерпне тестування маршрутів не може виявити помилок, поява яких залежить від оброблюваних даних.