- •1.2. Основные понятия и определения в области метрологии
- •1.2.2. Общие положения по организации тестирования
- •Общие сведения
- •Показатели производительности
- •Продуктивность
- •Реактивность
- •Точка перегиба
- •Толерантность
- •Интегральная продуктивность
- •2. Элементы теории вероятностей и математической статистики для решения прикладных задач метрологии
- •2.1. Роль, место и основные задачи математической статистики
- •2.2. Основные понятия теории вероятностей
- •2.3. Случайные величины, их законы распределения
- •2.4. Применение критериев согласия для согласования теоретического и статистического распределений случайных величин
- •2.5. Статистические оценки параметров распределения
- •3. Основные понятия теории случайных процессов
- •3.1. Понятие о случайной функции и стационарном случайном процессе
- •3.2. Основные характеристики случайных функций
- •3.3. Основные сведения о случайных процессах
- •3.4. Спектральное разложение стационарной случайной функции
- •4.2. Понятие экспериментальной оценки надежности
- •4.3. Организация испытаний и сбор информации
- •4.4. Методический подход к оценке показателей надежности по экспериментальным данным
- •5. Оценка надёжности информационных систем по экспериментальным статистическим данным
- •5.1. Определение законов распределения наработки на отказ
- •5.2. Виды испытаний на надёжность и их планирование
- •5.3. Статистическая оценка показателей надежности при определительных испытаниях
- •5.4. Общие принципы обеспечения контроля надежности
- •5.5. Статистические методы контроля надёжности серийных систем
- •Приемка
- •Браковка
- •Продолжение испытаний
- •6. Погрешности измерений вероятностных характеристик при статистических испытаниях информационных систем
- •6.1. Понятие о погрешности измерений вероятностных характеристик
- •6.2. Источники погрешностей стохастических измерений вероятностных характеристик и способы снижения общей погрешности в работе информационных систем
- •6.3. Анализ алгоритмов измерения вероятностных характеристик и рекомендации по уменьшению погрешностей
- •Точечные оценки неизвестных параметров распределения
- •Доверительные интервальные оценки с неизвестными параметрами распределения
- •Статистические критерии проверки совместимости результатов натурных испытаний и моделирования
- •Библиографический список
- •Оценка вероятностных характеристик случайных процессов при испытаниях информационных систем
- •170026, Г. Тверь, наб. Афанасия Никитина, 22
Реактивность
Реактивность определяется как время отклика (реакции) между запросом пользователя на выполнение функциональной операции и получением ответа. Поскольку реактивность непосредственно зависит от уровня нагрузки в тестируемой системе, индекс реактивности имеет смысл только при указании характеристик моделируемой нагрузки и конфигурации системы, в условиях которой он получен. Индекс реактивности является наиболее удобным для формирования и контроля требований к производительности, поэтому он рекомендуется в качестве базового индекса при проведении аттестационного тестирования.
Точка перегиба
«Точка перегиба» определяется как характерное значение уровня нагрузки, определяемое по графику зависимости продуктивности от нагрузки. «Точка перегиба» характеризует максимально допустимый уровень нагрузки, при превышении которого продуктивность падает (или увеличивается время отклика) значительно быстрее, чем в нормальном режиме работы системы. Практически «точка перегиба» показывает уровень, при превышении которого происходит перегрузка системы.
Необходимо иметь в виду, что в некоторых случаях достаточно трудно или невозможно определить «точку перегиба». При известных требованиях по максимально допустимому времени отклика (значению реактивности) нет необходимости определять «точку перегиба» по графику. В этом случае определяется уровень нагрузки, при котором время отклика перестает удовлетворять установленным требованиям.
Толерантность
Толерантность характеризует динамику изменения производительности и определяется как средняя скорость снижения продуктивности в зависимости от уровня нагрузки в системе, определенная на некотором интервале нагрузок. На графике зависимости продуктивности от нагрузки толерантность определяется как тангенс среднего угла наклона касательной к кривой продуктивности по отношению к оси нагрузки. Индекс толерантности показывает, насколько устойчивой является система к возрастанию уровня нагрузки. Интервал для определения толерантности должен быть заранее задан. В качестве характерного интервала можно использовать значения нагрузки при максимальной продуктивности (начальная точка) и в «точке перегиба» (конечная точка).Толерантность может также определяться по средней скорости изменения реактивности (увеличения времени отклика).
Интегральная продуктивность
Индекс интегральной продуктивности связывает индекс толерантности с уровнем продуктивности. Индекс является интегралом продуктивности на заданном интервале и практически вычисляется приближенными методами на основе множества величин продуктивности, полученных в ходе тестирования с последовательным увеличением нагрузки. При определении интегральной продуктивности должен использоваться тот же интервал (диапазон нагрузок), что и при определении индекса толерантности.
Практически для описания производительности в условиях изменяющихся нагрузок достаточно трех характеристик:
показателя интегральной продуктивности;
показателя толерантности;
диапазона нагрузок (интервала измерения характеристик).
Приведенный состав индексов является достаточно общим и должен использоваться в качестве основы для формирования конкретного комплекса характеристик производительности информационных систем оперативной обработки транзакций.
1.2.4. Испытания средств измерений
Общие положения
Испытания проводятся в соответствии с Рекомендацией КООМЕТ R/LM/10:2004, устанавливающей минимально необходимые требования к ПО с измерительными функциями, а также критерии, определяющие объём испытаний ПО в целях его утверждения и последующей сертификации.
Этим обеспечивается единство измерений на этапах изготовления средств измерений и их испытаний. Рекомендация вводит понятия законодательно контролируемых ПО, функций и данных, которые включают в себя части программы, операции и данные, формирующие ПО, подлежащее контролю со стороны законодательной метрологии. Рекомендация содержит подразделы: защита данных; защита программ; изменения программ; интерфейсы; код программы.
Основные требования к ПО
ПО средств измерений должно быть разработано так, чтобы можно было провести оценку соответствия его законодательно контролируемых функций требованиям данной Рекомендации.
Законодательно контролируемое ПО должно иметь функции защиты
от несанкционированного воздействия на это ПО через его интерфейсы или интерфейсы средств измерений.
Документация ПО средств измерений должна включать описание функций ПО, типоопределяющих и конструктивных параметров, реализованных расчётных алгоритмов, методики идентификации ПО, а также характеристики точности.
Критерии испытаний
Устанавливаются три критерия испытаний: уровень защиты ПО; жёсткость испытаний ПО; степень соответствия ПО и три характеристики для каждого критерия – низкая, средняя и высокая, согласно которым даются предложения по назначению критериев испытаний ПО.