Оценка точности проведения нт

7

Полнота измерений производительности

Отношение числа метрик, мониторинг которых описан в Методике НТ к общему числу из необходимых метрик. Общее числа необходимый метрик определяется, как по числу выполняемых АС операций, как сумма: количества моделируемых операций * 3, количества автоматических/пакетных серверных процессов * 3, количества интерфейсов к смежным системам * 3. Для каждой операции необходимо контролировать: 1. Интенсивность подаваемой нагрузки (для пакетной обработки - объем данных) 2. Пропускная способность (для online - число успешных операций) 3. Время отклика (для online обработки)/время обработки (для offline или пакетной обработки). Требуется: 70%

 100%

8

Полнота мониторинга инфраструктуры

Отношение числа компонент архитектуры (КА), по которым в методике определен способ организации мониторинга в соответствии к общему числу КА. Мониторинг должен быть организован в соответствии со стандартом по мониторингу инфраструктуры. Требуется: 80%

 100%

9

Соответствие структуры методики стандарту

Отношение числа разделов в методике НТ, корректно заполненных и соответствующих разделам, заданным в шаблоне методики НТ, к общему числу разделов в шаблоне. Требуется: 100%

100% 

10

Точность профиля по нагрузке

Оценивается %ое соотношение интенсивности выбранных для тестирования массовых операций к общей интенсивности всех операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Интенсивность операций определяется по статистике промышленной информации. Требуется: не менее 90%, рекомендуется не менее 98%

90% 

11

Покрытие функциональности тестами

% соотношение количества выбранных для тестирования операций к общему количеству всех операций. Целевой показатель: 20-50%

70% 

12

Точность профиля по интенсивности массовых операций

Для каждой массовой операции определяется погрешность интенсивности в тестовом профиле к промышленному, как разница между интенсивностями операций, приведенная к общему количеству всех операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Для показателя берется 100% - максимальная абсолютная погрешность по всем операциям. Требуется: не менее 98%. При снижении точности ниже 80-90% рекомендуется повторное проведение тестов для актуализация возможностей системы.

 90,54% 

13

Точность профиля по интенсивности "тяжелых" операций

Для каждой "тяжелой" операции определяется погрешность интенсивности в тестовом профиле к промышленному, как разница между интенсивностями операций, приведенная к количеству данных операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Для показателя берется 100% - максимальная абсолютная погрешность по всем операциям. Требуется: не менее 90%, рекомендуется не менее 98%. При снижении точности ниже 80-90% рекомендуется повторное проведение тестов для актуализация возможностей системы.

 90,54% 

14

Соответствие тестового КТС промышленному по составу

Для каждого вида ИР производится подсчет соотношения количества физических серверов (ФС) тестовых к промышленному КТС (текущему или планируемому, в зависимости от целей тестирования, без учета резервирования отказоустойчивости). Выбирается значение с максимальным отклонением от 100%. Требуется: от 95% до 105% (при избытке - может потребоваться ограничение тестовых ресурсов)

100% 

15

Соответствие тестового КТС промышленному по мощности

Для каждого вида ФС производится подсчет соотношения количества ресурсов (число CPU, количество RAM, класс дисковой подсистемы, скорость сетевых интерфейсов сервера) в тестовом к промышленном КТС (текущему или планируемому, в зависимости от целей тестирования).

Выбирается значение с максимальным отклонением от 100%. Требуется: от 95% до 105% (при избытке - может потребоваться ограничение тестовых ресурсов).

Серверы с CPU разных модельных рядов не сравнимы (0%), для сравнения CPU в рамках модельных рядов используются данные от производителя. Для дисковой подсистемы (оценивается только соответствие классов 0% или 100%): • Enterprise – для дисковых стоек высокого класса, например HP XP 12000, XP 20000, XP 24000 • Mid-range –для дисковых стоек среднего класса, например HP EVA 6400/8400 • Low(Entry) – для медленных дисковых стоек, либо в случае использования локальных дисков.

 100%

16

Наполнение тестовой БД

Отношение объема БД в строках, обозначенного в методике, к объему промышленной БД. Для каждой таблицы определяется погрешность количества строк указанного в методике к количеству строк в промышленной БД, как отношение числа строк в тестовой БД к количеству строк в промышленной БД. Для показателя берется минимальное отношение по основным рабочим таблицам. Целевой показатель: не менее 100%. Метрика считается для каждого варианта тестовых БД и применяется для оценки точности серии тестов на этой БД.

 90%