Альфа и Бета тестирования
Испытания проводятся на соответствие критерию формализованным руководителем проекта. Они заключаются как в нормальной, так и стрессовой серии испытаний, включая проверку документации и сопутствующих материалов. Различаются 2 вида тестирования альфа и бета.
При альфа тестировании привлекаются конечные пользователи, работающие в той же компании но не участвовавшие в разработке проекта. Для бета тестирования привлекаются известные специалисты из числа внешних по отношению к форме пользователей системы. Им бесплатно передаётся версия программного продукта для введения опытной эксплуатации, при этом особое значение имеет выделение компетентных, тщательных и доброжелательных пользователей, реально способных своими рекомендациями улучшить качество испытуемых программ. Их деятельность стимулируется бесплатным и ранним получением нового ПО, часто открытые версии ПО и соответствующим договором… ПО поступает в эксплуатацию или в продажу. Результаты бета тестирования могут быть использованы, как часть сертификационных испытаний.
Методика тестирования при испытании надёжности сложных программных средств
1) Тестирование и отладка компонентов в реальном масштабе времени
В этом случаи используются средства имитации внешней среды в реальном времени. Эти средства реализуются либо на специальной моделирующей ЭВМ, либо на специальном генераторе внешних воздействий.
2) Разработка средств обработки результатов тестирования в реальном времени
Эти средства значительно отличаются от используемых при тестировании компонентов в статике. Они должны обеспечивать определение практически всех показателей качества в реальном времени.
Подготовка тестов для тестировании компонентов в реальном времени. Эти тесты должны генерироваться либо заранее для определённых моментов времени, либо непосредственно перед выдачей их на обработку. Они должны определять развития процесса обработки и все процессы, протекающие во внешней среде. Сценарий тестирования должны содержать диаграммы изменения в реальном времени, согласно имитируемой среде.
Завершение тестирования надёжности в реальном времени
Это последний компонент работы, после которого могут быть проведена интеграция с другими компонентами системы. На этом этапе подключаются программы ввода-вывода и взаимодействие с внешней средой, визуализация и организация вычислительного процесса в реальном масштабе времени. В завершении является обработка результатов тестирования, оценка надёжности и качества тестируемых компонентов.
Замечание: на этом этапе качество работы компонентов должно осуществляться в полном окружении со смежными компонентами этой системы.
Важным является также тестирование испытания комплекса программ по данным имитатора внешней среды. Тестирование испытаний комплекса программ при работе с оператором пользователя завершает тестирование испытаний всего комплекса в реальной внешней среде. В этом случаи целесообразно ранжировать функциональные задачи продукта по степени воздействия на объекты внешней среды…
Для уменьшения рисков аварийных ситуаций целесообразно первоначально проверить поступление информации на поверхность… осуществить полное замыкание контр-обработки информации и управление объектами внешней среды.
Подготовка и аттестация измерителей параметров от объектов внешней среды, поступающих на комплекс-программу.
Завершение испытаний комплекса программ в реальном времени и в реальной внешней среде
Длительное испытание надёжности следует проводить в соответствии с требованием обеспечением их реакции на критические ситуации. Адекватности имитаторов внешней среды.
В соответствии с проведенными испытаниями проводится корректировка технологической и эксплуатационной документации, по результатам всех испытаний передаётся заказчику. Это оформляется актом: актом завершения испытаний и передачей заказчику версии программ для приёма сдаточных испытаний и сертификации.