Основные этапы проведения тестирования
Под каждую заявку Заявителя создается «Проект тестирования Системы» (далее Проект) и формируется рабочая группа в составе:
руководителя проекта;
экспертная группа тестирования Системы (производит оценку значимости метрик по каждому показателю и объекту оценки);
группа Технических специалистов (осуществляет техническую поддержку процесса тестирования).
Проведение тестирования по согласованной с Заявителем программе и методике.
Вырабатываются рекомендации:
- по регистрации Системы в Фонде;
- доработке Системы;
- проведению тестирования Системы с учетом замечаний.
Характеристика |
Показатель (признак) |
Метрики |
Группа оценки: Программы и данные Системы (Рейтинг по группе оценки программы и данные – Rпд= КфвХRфв+КнадХRнад+КпрХRпр) |
||
|
|
|
Rфв= Kприг Х Rприг +Kправ Х Rправ + Kсог Х Rсог+Kинт Х Rинт +Kзащ Х Rзащ |
Rприг= KпригХ(Сумму значений метрик с 1.1.1 по 1.1.5) |
|
Кфв – назначается группой экспертов из расчета: |
Сумма значений метрик с 1.1.1 по 1.1.5 должна быть <=100 |
|
Кфв+Кнад+Кпр=100 |
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 Кфв – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rправ = Kправ Х(Сумму значений метрик с 1.2.1 по 1.2.6) |
|
|
Сумма значений метрик с 1.2.1 по 1.2.6 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Kправ – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
Rсог = KсогХ(Сумму значений метрик с 1.3.1 по 1.3.2) |
|
|
Сумма значений метрик с 1.3.1 по 1.3.2 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Kсог – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rзащ = Kзащ Х(Сумму значений метрик с 1.4.1 по 1.4.5) |
|
|
Сумма значений метрик с 1.4.1 по 1.4.5 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 Kзащ – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rинт= KинтХ(Сумму значений метрик с 1.5.1 по 1.5.3) Сумма значений метрик с 1.1.1 по 1.1.5 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кинт – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
Rст= KстХ(Сумму значений метрик с 2.1.1 по 2.1.3) |
|
Rнад = Kст Х Rст +Kусто Х Rусто |
Сумма значений метрик с 2.1.1 по 2.1.3 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 |
|
Кнад – назначается группой экспертов из расчета: Кфв+Кнад+Кпр=100
|
Кст – назначается группой экспертов из расчета: Kст + Kуст =100 |
|
|
|
|
|
Rст= KстХ(Сумму значений метрик с 2.2.1 по 2.2.9) Сумма значений метрик с 2.2.1 по 2.2.9 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Куст – назначается группой экспертов из расчета: Kст + Kуст =100 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Rпр = Kпон Х Rпон +Kприс Х Rприс |
Rпон= Kпон Х (Сумму значений метрик с 3.1.1 по 3.1.11) |
|
Кпр – назначается группой экспертов из расчета: Кфв+Кнад+Кпр=100 |
Сумма значений метрик с 3.1.1 по 3.1.11 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Кпон – назначается группой экспертов из расчета: Kпон + Kприс =100 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Rприс= Kприс Х (Сумму значений метрик с 3.2.1 по 3.1.13) |
|
|
Сумма значений метрик с 3.2.1 по 3.2.13 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Кприс – назначается группой экспертов из расчета: Kпон + Kприс =100 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Группа оценки Описание Системы (Рейтинг по группе оценки Описание Системы – Rос= КфвХRфв+КнадХRнад+КпрХRпр+КэфХRэф+КсопХRсоп+КмобХRмоб) |
||
|
|
|
Rфв= Kприг Х Rприг +Kправ Х Rправ + Kсог Х Rсог+Kинт Х Rинт +Kзащ Х Rзащ |
Rприг= KпригХ(Сумму значений метрик с 1.1.1 по 1.1.4) Сумма значений метрик с 1.1.1 по 1.1.4 должна быть <=100 |
|
Кфв – назначается группой экспертов из расчета: |
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 |
|
Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб=100 |
Кфв – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rправ = Kправ Х(Сумму значений метрик с 1.2.1 по 1.2.6) |
|
|
Сумма значений метрик с 1.2.1 по 1.2.6 должна быть =100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Kправ – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
Rсог = KсогХ(Сумму значений метрик с 1.3.1 по 1.3.6) |
|
|
Сумма значений метрик с 1.3.1 по 1.3.6 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 |
|
|
Kсог – назначается группой экспертов из расчета: |
|
|
Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rинт= KинтХ(Сумму значений метрик с 1.4.1 по 1.4.3) Сумма значений метрик с 1.4.1 по 1.4.3 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кинт – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
|
Rзащ = Kзащ Х(Сумму значений метрик с 1.5.1 по 1.5.5) |
|
|
Сумма значений метрик с 1.5.1 по 1.5.5 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 Kзащ – назначается группой экспертов из расчета: Kприг + Kправ + Kсог + Кинт + Kзащ =100 |
|
|
|
|
Rнад = Kвос Х Rвос |
Rвос= KвосХ(Сумму значений метрик с 2.1.1 по 2.1.4) Сумма значений метрик с 2.1.1 по 2.1.4 должна быть <=100 |
|
Кнад – назначается группой экспертов из расчета: Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб =100
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 |
|
|
Квос – назначается группой экспертов из расчета: Kвос =100 |
|
Rпр = Kоб Х Rоб+ Kпон Х Rпон+ Kприс Х Rприс Кпр – назначается группой экспертов из расчета: Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб =100 |
Rоб= KобХ(Сумму значений метрик с 3.1.1 по 3.1.1) Сумма значений метрик с 3.1.1 по 3.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Коб – назначается группой экспертов из расчета: Kоб + Kпон + Kприс =100 |
|
|
Rприс= KприсХ(Сумму значений метрик с 3.2.1 по 3.2.3) Сумма значений метрик с 3.2.1 по 3.2.3 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 |
|
|
Кприс – назначается группой экспертов из расчета: Коб + Kпон + Kприс =100 |
|
|
|
|
|
|
|
|
Rппон= KппонХ(Сумму значений метрик с 3.3.1 по 3.3.2) Сумма значений метрик с 3.3.1 по 3.3.2 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кпон – назначается группой экспертов из расчета: Коб + Kпон + Kприс =100 |
|
|
|
|
Rсоп = Kан Х Rан+ Kизм Х Rизм+ Kтест Х Rуст |
Rан= Kан Х (Сумму значений метрик с 4.1.1 по 4.1.3) Сумма значений метрик с 4.1.1 по 4.1.3 должна быть <=100 |
|
Ксоп– назначается группой экспертов из расчета: Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб =100 |
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кан – назначается группой экспертов из расчета: Kан + Kизм + Kтест + Куст =100 |
|
|
Rизм= Kизм Х (Сумму значений метрик с 4.2.1 по 4.2.2) Сумма значений метрик с 4.2.1 по 4.2.2 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кизм – назначается группой экспертов из расчета: Kан + Kизм + Kтест + Куст =100 |
|
|
Rтест= Kтест Х (Сумму значений метрик с 4.3.1 по 4.3.1) Сумма значений метрик с 4.3.1 по 4.3.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Ктест – назначается группой экспертов из расчета: Kан + Kизм + Kтест + Куст =100 |
|
|
Rуст= Kуст Х (Сумму значений метрик с 4.4.1 по 4.4.1) Сумма значений метрик с 4.4.1 по 4.4.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Куст – назначается группой экспертов из расчета: Kан + Kизм + Kтест + Куст =100 |
|
Rэф = Kхив Х Rхив+ Kхир Х Rхир Кэф– назначается группой экспертов из расчета: Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб =100 |
Rхив= Kхив Х (Сумму значений метрик с 5.1.1 по 5.1.1) Сумма значений метрик с 5.1.1 по 5.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кхив – назначается группой экспертов из расчета: Kхив + Kхир =100 |
|
|
Rхир= Kхир Х (Сумму значений метрик с 5.2.1 по 5.2.1) Сумма значений метрик с 5.2.1 по 5.2.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кхир – назначается группой экспертов из расчета: Kхив + Kхир =100 |
|
Rмоб = Kад Х Rад + Kвз Х Rвз + Kпрен Х Rпрен + Kсоот Х Rсоот Кмоб– назначается группой экспертов из расчета: Кфв+Кнад+Кпр+Кэф+Ксоп+Кмоб =100 |
Rад= Kад Х (Сумму значений метрик с 6.1.1 по 6.1.1) Сумма значений метрик с 6.1.1 по 6.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кад – назначается группой экспертов из расчета: Kад + Kвз + Kпрвн + Kсоот =100 |
|
|
Rвз= Kвз Х (Сумму значений метрик с 6.2.1 по 6.2.1) Сумма значений метрик с 6.2.1 по 6.2.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Квз – назначается группой экспертов из расчета: Kад + Kвз + Kпрвн + Kсоот =100 |
|
|
Rпрвн= Kпрвн Х (Сумму значений метрик с 6.3.1 по 6.3.1) Сумма значений метрик с 6.3.1 по 6.3.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кпрвн – назначается группой экспертов из расчета: Kад + Kвз + Kпрвн + Kсоот =100 |
|
|
Rсоот= Kсоот Х (Сумму значений метрик с 6.4.1 по 6.4.1) Сумма значений метрик с 6.4.1 по 6.4.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Ксоот – назначается группой экспертов из расчета: Kад + Kвз + Kпрвн + Kсоот =100 |
|
Группа оценки: Документация пользователя Системы (Рейтинг по группе оценки Документация пользователя – Rдп= КфвХRфв+КпрХRпр+КсопХRсоп+КмобХRмоб) |
||
|
|
|
Rфв= Kприг Х Rприг +Kправ Х Rправ Кфв – назначается группой экспертов из расчета: Кфв+Кпр+Ксоп+Кмоб=100 |
Rприг= KпригХ(Сумму значений метрик с 1.1.1 по 1.1.4) Сумма значений метрик с 1.1.1 по 1.1.4 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 Кприг – назначается группой экспертов из расчета: Kприг + Kправ =100 |
|
|
|
|
|
|
|
|
Rправ = Kправ Х(Сумму значений метрик с 1.2.1 по 1.2.6) |
|
|
Сумма значений метрик с 1.2.1 по 1.2.6 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Kправ – назначается группой экспертов из расчета: Kприг + Kправ =100 |
|
Rпр = Kоб Х Rоб +Kпон Х Rпон Кпр – назначается группой экспертов из расчета: Кфв+Кпр+Ксоп+Кмоб =100 |
Rоб= Kоб Х (Сумму значений метрик с 2.1.1 по 2.1.1) Сумма значений метрик с 2.1.1 по 2.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Kпон + Kоб =100 |
|
|
Rпон= Kпон Х (Сумму значений метрик с 2.2.1 по 2.2.5) Сумма значений метрик с 2.2.1 по 2.2.5 должна быть <=100 |
|
|
При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: |
|
|
Сумма максимальных значений должна быть равна 100 Кпон – назначается группой экспертов из расчета: Kпон + Kоб =100 |
|
|
|
|
|
|
|
Rсоп = Kан Х Rан Ксоп – назначается группой экспертов из расчета: Кфв+Кпр+Ксоп+Кмоб =100 |
Rан= Kан Х (Сумму значений метрик с 3.1.1 по 3.1.1) Сумма значений метрик с 3.1.1 по 3.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кан – назначается группой экспертов из расчета: Kан =100 |
|
|
Rпрвн= Kпрвн Х (Сумму значений метрик с 4.1.1 по 4.1.1) Сумма значений метрик с 4.1.1 по 4.1.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кпрвн – назначается группой экспертов из расчета: Kпрвн + Кинт =100 |
|
Rмоб= Kпрвн Х првн + Kинт Х инт Кмоб – назначается группой экспертов из расчета: Кфв+Кпр+Ксоп+Кмоб =100 |
Rинт= Kинт Х (Сумму значений метрик с 4.2.1 по 4.2.1) Сумма значений метрик с 4.2.1 по 4.2.1 должна быть <=100 При добавлении или удалении метрик максимальное значение каждой изменяется из расчета: Сумма максимальных значений должна быть равна 100 Кинт – назначается группой экспертов из расчета: Kпрвн + Кинт =100 |
|
Экспертная группа оценивает в баллах метрики оценки и устанавливает весовые коэффициенты характеристик, показателей (признаков). В результате рассчитывается общий рейтинг заявленной Системы. По величине рейтинга Экспертная группа дает рекомендации Правлению о регистрации заявленной Системы в Фонд. Решение о регистрации заявленной Системы в фонд принимает Правление Фонда.
По результатам экспертной оценки и тестирования Системы, предусматривающей совместимость с инфраструктурными системами электронного правительства (портал, реестр, СМЭВ, системы безопасности и аутентификации и др.), при выявлении необходимых доработок, после их осуществления, Система повторно проходит тестирование по тем разделам программы и методики, по которым были выявлены замечания. После этого принимается решение о регистрации доработанной Системы в Фонде.
