- •Галузева система управління якістю методи оцінки показників якості програмного забезпечення програмно-технічних комплексів критичного призначення Отраслевая система управления качеством
- •1 Сфера застосування
- •2 Нормативні посилання
- •3 Терміни та визначення понять
- •3.2 Безпека програмного забезпечення
- •3.8 Життєвий цикл системи
- •3.9 Інструментальний засіб (case-інструмент)
- •3.10 Категорія критичності програмного забезпечення
- •3.15 Оцінювання якості програмного забезпечення
- •3.16 Показники (характеристики) якості програмного забезпечення
- •3.19 Програмно-технічний комплекс
- •4 Познаки та скорочення
- •3.13 Надійність програмного забезпечення
- •5 Методи оцінювання показників якості програмного забезпечення критичного призначення
- •5.1 Методи оцінювання показників якості програмного забезпечення
- •5.2 Інспекції процесів розроблення програмного забезпечення
- •5.3 Методи тестування програмного забезпечення
- •5.3.1 Загальні положення щодо тестування програмного забезпечення
- •5.3.2 Методи функціонального тестування програмного забезпечення
- •5.3.2.1 Загальні положення щодо функціонального тестування програмного забезпечення
- •5.3.2.2 Тестування транзакцій
- •5.3.2.3 Тестування областей вхідних даних
- •5.3.2.4 Тестування синтаксису
- •5.3.2.5 Тестування логічних умов
- •5.3.2.6 Тестування станів
- •5.3.3 Метод структурного тестування програмного забезпечення
- •5.3.3.1 Загальні положення щодо структурного тестування програмного забезпечення
- •5.3.3.2 Тестування маршрутів
- •5.3.3.3 Тестування циклів
- •5.3.3.4 Тестування обробки даних
- •5.4 Методи статичного аналізу програмного забезпечення
- •5.4.1 Загальні положення щодо статичного аналізу програмного забезпечення
- •5.4.2 Аналіз потоку управління
- •5.4.3 Аналіз потоку даних
- •5.4.4 Метрична оцінка програмного забезпечення
- •5.5 Метод імовірнісної оцінки надійності програмного забезпечення
- •5.5.1 Загальні положення щодо імовірнісної оцінки надійності програмного забезпечення
- •5.5.2 Оброблення статистичних даних про відмови програмного забезпечення
- •5.5.3 Визначення параметрів моделей надійності
- •5.5.3.3 Мнпз, їхні допущення та аналітичні співвідношення
- •5.5.3.4 Модель Джелінського–Моранді
- •5.5.3.5 Модель Гела–Окумото
- •5.5.3.6 Модель базова s-подібна
- •5.5.3.7 Модель Шика–Уолвертона
- •5.5.3.8 Перша геометрична модель Моранди
- •5.5.3.9 Модель Муси–Окумото
- •5.5.3.10 Метод максимуму правдоподібності
- •5.5.3.11 Метод найменших квадратів
- •5.5.3.12 Приклади застосування моделей надійності програмного забезпечення
- •5.5.3.12.2 Оцінка показників надійності за допомогою мнпз, описаних у 5.5.3.4-5.5.3.9.
- •5.5.3.12.3 Модель Джелінського-Моранді
- •5.5.3.12.4 Модель Гела-Окумото
- •5.5.3.12.5 Базова s-подібна модель
- •5.5.3.12.6 Модель Шика-Уолвертона
- •5.5.3.12.7 Перша геометрична модель Моранді
- •5.5.3.12.8 Модель Муси-Окумото
- •5.5.4 Вибір моделі надійності програмного забезпечення
- •5.5.4.3 Критерій Колмогорова-Смирнова
- •5.5.4.4 Критерій 2
- •5.5.4.5 Критерій мінімального сумарного квадратичного відхилення:
- •5.5.5 Прогнозування показників надійності програмного забезпечення
- •5.6 Аналіз видів, наслідків і критичності відмов програмного забезпечення (sfmeca)
- •5.6.1 Загальні положення щодо аналізу видів, наслідків і критичності відмов
- •5.6.2 Основні принципи виконання sfmeca
- •5.6.2.1 Базування sfmeca
- •5.6.2.2 Визначення функціональної структури програмного забезпечення
- •5.6.2.3 Одержання вихідної інформації
- •5.6.2.4 Подання структури програмного забезпечення
- •5.6.2.5 Ідентифікація видів відмов
- •5.6.2.6 Аналіз відмов із загальної причини
- •5.6.2.7 Аналіз критичності
- •5.6.2.8 Зв'язок між sfmeca та іншими методами
- •5.6.3 Процедура виконання sfmeca
- •5.6.3.1 Процедура виконання sfmeca
- •5.6.3.2 Визначення вимог до програмного забезпечення
- •5.6.3.3 Розроблення діаграм, схем та інших математичних моделей і описів
- •5.6.3.4 Вибір рівнів програмного забезпечення і документації
- •5.6.3.5 Ідентифікація видів, причин і впливу відмов
- •5.6.3.6 Ідентифікація методів виявлення відмов та їх ізолювання
- •5.6.3.7 Опис значення відмов та альтернативних запобіжних заходів
- •5.6.3.8 Оцінка критичності та імовірності відмов
- •5.6.3.9 Розроблення рекомендацій і звіту за результатами sfmeca
- •5.7 Аналіз дерева відмов програмного забезпечення (sfta)
- •5.7.1 Загальні положення щодо аналізу дерева відмов програмного забезпечення
- •5.7.2 Процедура виконання sfta
- •5.7.2.1 Процедура виконання sfta
- •5.7.2.2 Визначення області аналізу
- •5.7.2.3 Ознайомлення з проектом, функціями і роботою програмного забезпечення
- •5.7.2.4 Визначення кінцевої події
- •5.7.2.5 Побудова дерева відмов
- •5.7.2.6 Логічний і чисельний аналіз дерева відмов
- •5.7.2.7 Розроблення звіту про результати аналізу
- •5.7.3 Умовні позначки для дерева відмов
- •5.8 Керівництво з адаптації нормативного документа
- •Додаток а
- •Бібліографія
5.3.3.4 Тестування обробки даних
5.3.3.4.1 Функціонування будь-якої програми можна розглядати як обробку потоку даних, переданих від входу у програму до її виходу. Вхідні дані послідовно використовуються для визначення ряду проміжних результатів аж до одержання необхідного набору вихідних даних. Програма може бути представлена у вигляді мультиграфа, заданого структурою передач управління (графом потоку управління) і графом перетворення даних, що беруть участь у обчисленнях (графом потоку даних) (див. рисунок 5.10).
5.3.3.4.2 Вершини лівого ряду на рисунку 5.10 відповідають операторам програми, а вершини правого ряду – змінним і константам, які оброблюються програмою. Потік управління між операторами представлено на рисунку суцільними лініями, а потік даних - штриховими. Перетинання потоку управління та потоку даних здійснюється в операторах розгалуження: перевірки умов і циклах. Спільне тестування маршрутів і обробки даних дозволяє перевіряти коректність реалізації областей визначення змінних на маршрутах виконання програми.
5.3.3.4.3 Наслідки помилок у програмі можуть проявлятися як зміни деяких перемінних у процесі обчислень і як повне перекручування або відсутність на виході величин, що вимагаються. Тестування програмного модуля доцільно проводити на впорядкованих наборах даних з урахуванням ступеня їхнього впливу на вихідні результати. Із цієї позиції доцільно виділити два види обробки даних:
обробка, яка повністю змінює область визначення та значення результатів;
обробка, яка змінює результати у межах деякої обмеженої, правильної області визначення.
Рисунок 5.10 – Приклад графів потоку управління та потоку даних програмного модуля
5.3.3.4.4 Першому виду обробки відповідають вихідні дані у критичних точках і на границях областей змінення оброблюваних змінних. За таких критичних значень може змінюватися маршрут виконання програми, внаслідок чого можлива найбільша зміна результатів. Тому тестування обробки даних повинно бути спрямовано, насамперед, на перевірку виконання програм за значень змінних, які впливають на вибір маршруту та логіку функціонування програм (стратегія виділення областей змінних). Граничні умови – це ситуації, які виникають у безпосередній близькості до границь областей змінення оброблюваних змінних. Число таких критичних значень кожної змінної може бути на кілька порядків менше, ніж число значень для усієї внутрішньої частини області змінення цієї величини. Більшість критичних значень (предикатів) може істотно впливати на результати та підлягає найбільш ретельному тестуванню. За цього виду тестування маршрути формуються у процесі аналізу та обробки даних на послідовних операторах умов у тексті програми. Таким чином, вся множина маршрутів є реалізованою і визначається складом реальних тестових даних. Набір сполучень вихідних даних у тестах безпосередньо впливає на ступінь обсягу тестування ділянок програми. Шляхом зіставлення перевірених маршрутів з маршрутами, виділеними за графом програми за різних критеріїв, можна оцінювати досягнуту повноту тестування модуля.
5.3.3.4.5 Другому виду обробки відповідають дані у обмеженій або необмеженій області визначення, яка може поділятися на деяку множину підобластей. Зміна даних усередині такої підобласті не впливає на маршрут виконання програми. Тому для перевірки функціонування програми з усієї множини значень достатньо використовувати під час тестування тільки кілька значень всередині та поблизу границь області. Кількість величин, які використовуються для тестування під час оброблення даних цього виду, може бути на кілька порядків менше повного числа значень кожної змінної в області. У процесі тестування перевіряють точність здійснюваних обчислень, правильність масштабування і розмірності оброблюваних величин, коректність формування логічних величин тощо. При цьому, тестування повинно охоплювати всю область зміни кожної оброблюваної змінної та кожної результуючої величини.
5.3.3.4.6 Тестування оброблення даних у межах внутрішніх областей визначення доцільно проводити у наступній послідовності:
тестування коректності запису та зчитування змінних під час обчислень і повноти складу вихідних даних на усіх маршрутах виконання програми;
тестування точності результатів обчислень і коректності обробки кожної змінної;
тестування на повну відповідність складу, значень і точності вихідних даних специфікації вимог.
5.3.3.4.7 У наведеній послідовності окремі методи тестування дозволяють, насамперед, виявляти помилки, які здатні змінювати результати найбільшою мірою. За умови обмежених ресурсів і такій послідовності тестування у програмі можуть залишатися помилки, які найменш впливають на коректність вихідних даних. Увага повинна послідовно акцентуватися на виявленні помилок обробки даних, які впливають на:
логіку програми;
запис і зчитування змінних;
повноту складу результатів;
точність розрахунку вихідних даних;
відповідність вихідних даних специфікації вимог.
