1.3. Определение модели надежности

На данном этапе, исходя из типов оцениваемых продуктов, выбирается соответствующая модель надежности (внутренняя или внешняя). Основу модели составляет модель надежности из стандарта ISO/IEC 9126–1:2001 (см. подразд. обучающего курса). Выбранная модель должна быть адаптирована с учетом целей оценки и конкретных требований к надежности оцениваемого продукта. В процессе адаптации из модели надежности стандарта ISO/IEC 9126–1:2001 должны быть выбраны соответствующие подхарактеристики, которые будут оцениваться.

2. Определение оценки надежности

Данная стадия также состоит из трех этапов.

2.1. Выбор метрик надежности

На данном этапе исходя из разработанной модели надежности программного средства выбираются соответствующие метрики надежности. При выборе метрик следует учитывать простоту и экономность их использования. Примеры метрик надежности приведены в стандартах ISO/IEC TR 9126–2,–3 и рассмотрены в подразд. - настоящего обучающего курса.

На выбор метрик оказывает влияние также тип требуемых измерений, который зависит от цели оценки. Если целью оценки является исправление недостатков разработки, то для контроля достаточно выполнить несколько измерений продукта. Данные измерения могут быть дополнены мерами из имеющихся контрольных списков или мнениями экспертов.

Если же целью оценки является сравнение готовых программных продуктов или анализ соответствия продукта требованиям к надежности, то необходимо использовать строгие метрики с достаточной точностью измерений. При этом должны быть учтены ошибки в измерениях, вызванные человеческим фактором или инструментом измерения.

2.2. Установка уровней ранжирования метрик

Значение, измеренное с помощью метрики, имеет некоторую величину, которая сама по себе не отражает степень удовлетворения результатом измерения. Поэтому шкала измерений разделяется на диапазоны, соответствующие различным степеням удовлетворения требований (см. рис. 6.5).

2.3. Установка критериев для оценки

Чтобы оценить надежность продукта, необходимо объединить результаты оценки его подхарактеристик и метрик. С этой целью должна быть разработана процедура, включающая критерии оценки для различных подхарактеристик надежности. Каждая из подхарактеристик может быть определена в терминах единственной метрики или средневзвешенной комбинации метрик. Процедура обычно включает и другие аспекты, такие как время и стоимость, которые вносят вклад в оценку надежности программного продукта в конкретной среде окружения.

3. Проектирование оценки надежности

Данная стадия состоит из одного этапа.

3.1. Разработка плана оценки надежности

В плане оценки должны быть описаны методы оценки и график действий по оценке. Действия по оценке для разработчика, заказчика и оценщика описаны в стандартах ISO/IEC 14598–3:2000, ISO/IEC 14598–4:1999 и ISO/IEC14598–5:1998. План оценки надежности должен быть согласован с планом количественной оценки качества, регламентированным в ISO/IEC 14598–2:2000.

4. Выполнение оценки надежности

Данная стадия состоит из трех этапов.

4.1. Выполнение измерений

Для измерения выбранные метрики надежности применяются к программному продукту. Результатом являются значения на шкалах метрик (см. рис. 6.5).

4.2 Сравнение с уровнями ранжирования

На данном этапе измеренные значения сравниваются с уровнями ранжирования (см. рис. 6.5).

4.3 Оценка результатов

Оценка результатов – заключительный этап процесса оценки надежности ПС. На данном этапе с учетом решений, принятых при выполнении этапа 2.3, суммируются оцененные уровни метрик надежности. Результатом является заключение о степени удовлетворения продуктом требований к надежности. Полученное в итоге значение надежности оценивается в совокупности с другими характеристиками качества. При этом учитываются такие аспекты как время и стоимость.

На основании оценки и организационных критериев принимается административное решение относительно промежуточного или конечного программного продукта.