Критерии оценки и выбора тс по

Критерии формируют базис для процессов оценки и выбора и могут принимать различные формы:

1. числовые меры в широком диапазоне значений, например, объем требуемых ресурсов;

2. числовые меры в ограниченном диапазоне значений, нап­ример простота освоения, выраженная в баллах от 1 до 5;

1. двоичные меры (истина/ложь, да/нет), например способ­ность генерации документации в заданном формате;

2. меры, которые могут принимать одно значение или более из конечных множеств значений, например платформы, для которых поддерживается ТС ПО.

Типичный процесс оценки и (или) выбора может использо­вать набор критериев различных типов. Каждый критерий дол­жен быть выбран и адаптирован экспертом с учетом особеннос­тей конкретного процесса. В большинстве случаев только неко­торые из множества описанных ниже критериев оказываются приемлемыми для использования, при этом также добавляются дополнительные критерии. Выбор и уточнение набора использу­емых критериев является критическим шагом в процессе оценки и (или) выбора.

Факторы выбора ТС ПО:

1. характеристики объекта внедрения, определяющие требова­ния, предъявляемые к ТС ПО;

2. параметры доступных ТС ПО;

3. ресурсы проекта (финансовые, кадровые и технические).

Исходные данные для выбора и оценки применимости — на­бор параметров (технико-экономических характеристик) ТС ПО (рис. 5.4).

1. Функциональные характеристики, ориентированные на про­цессы жизненного цикла ПО.

1.1. Управление проектом:

1. управление работами и ресурсами (контроль и управление процессом проектирования ПО в терминах структуры зада­ний и назначения исполнителей, последовательности их выполнения, завершенности отдельных этапов проекта и проекта в целом; возможность поддержки плановых дан­ных, фактических данных и их анализа. Типичные данные включают графики (с учетом календаря, рабочих часов, вы­ходных и др.), компьютерные ресурсы, распределение пер­сонала, бюджет и др.);

2. оценка затрат, трудоемкости и времени;

3. планирование;

4. мониторинг проекта.

1.2. Разработка ПО

1.2.1. Моделирование:

Рис. 5.4. Совокупность параметров (технико-экономических характеристик) ТС ПО

1. построение и анализ диаграмм (возможность создания и ре­дактирования диаграмм различных типов, возможность анализа графических объектов, а также хранения и пред­ставления проектной информации в графическом виде);

2. спецификация требований и проектных решений (включая возможность импорта, экспорта и редактирования специ­фикаций с использованием формального языка);

3. моделирование данных и процессов;

4. проектирование архитектуры ПО;

5. имитационное моделирование (возможность динамическо­го моделирования различных аспектов функционирования системы на основе спецификаций требований и (или) про­ектных спецификаций, включая внешний интерфейс и про­изводительность, например, время отклика, коэффициент использования ресурсов и пропускную способность);

6. прототипирование (возможность проектирования и генера­ции предварительного варианта всей системы или ее отдель­ных компонентов на основе спецификаций требований и (или) проектных спецификаций);

7. трассировка (возможность сквозного анализа функциони­рования системы от спецификации требований до конеч­ных результатов (установления и отслеживания соответ­ствий и связей между функциональными и другими внеш­ними требованиями к ПО и техническими решениями и ре­зультатами проектирования); прямая трассировка (проверка учета всех требований) и обратная трассировка (поиск про­ектных решений, не связанных ни с какими внешними тре­бованиями)).

1.2.2. Программирование:

8. генерация кода (программного кода, схемы базы данных, запросов, экранов/меню);

9. синтаксически управляемое редактирование (возможность ввода и редактирования исходных кодов на одном или нес­кольких языках с одновременным синтаксическим контро­лем);

10. компиляция кода;

11. конвертирование кода;

12. отладка (трассировка программ, выделение узких мест и на­иболее часто используемых фрагментов кода и т.д.).

1.3. Сопровождение:

13. идентификация и локализация проблем;

14. реверсный инжиниринг (возможность анализа существую­щих исходных кодов и формирования на их основе проект­ных спецификаций);

1. реструктуризация исходного кода (возможность модификации формата и (или) структуры существующего исходного кода).

1.4. Документирование:

2. редактирование текстов и графики;

3. редактирование с помощью форм;

4. возможности издательских систем;

5. поддержка функций и форматов гипертекста;

6. автоматическое извлечение данных из репозитория и гене­рация документации.

1.5. Управление конфигурацией:

1. контроль доступа и изменений (возможность контроля дос­тупа на физическом уровне к элементам данных и контроля изменений. Контроль доступа включает возможности опре­деления прав доступа к компонентам, а также извлечения элементов данных для модификации, блокировки доступа к ним на время модификации и помещения обратно в репозиторий);

2. отслеживание модификаций (фиксация и ведение журнала всех модификаций, внесенных в систему в процессе разра­ботки или сопровождения);

3. управление версиями (ведение и контроль данных о версиях системы и всех ее коллективно используемых компонентах);

4. учет состояния объектов управления конфигурацией (воз­можность получения отчетов о всех последовательных вер­сиях, содержимом и состоянии различных объектов конфи­гурационного управления);

5. генерация версий и модификаций (поддержка пользова­тельского описания последовательности действий, требуе­мых для формирования версий и модификаций, и автомати­ческое выполнение этих действий);

6. архивирование (возможность автоматического архивирова­ния элементов данных для последующего использования).

1.6. Обеспечение качества:

1. управление данными о качестве;

2. управление рисками.

1.7. Верификация:

1. анализ трассировки спецификаций;

2. анализ спецификаций (синтаксический и семантический контроль проектных спецификаций - контроль синтаксиса диаграмм и типов их элементов, контроль декомпозиции функций, проверка спецификаций на полноту и непротиво­речивость);

1. анализ исходного кода (определение размера кода, вычисление показателей сложности, генерация перекрестных ссы­лок и проверка на соответствие стандартам).

1.8. Аттестация:

2. описание тестов (генерация тестовых данных, алгоритмов тестирования, требуемых результатов и т.д.);

3. фиксация и повторение действий оператора (возможность фиксировать данные, вводимые оператором с помощью клавиатуры, мыши и т.д., редактировать их и воспроизво­дить в тестовых примерах);

4. автоматический запуск тестовых примеров;

5. регрессионное тестирование (возможность повторения и модификации ранее выполненных тестов для определения различий в системе и (или) среде);

6. статистический анализ результатов тестирования;

7. анализ тестового покрытия (оснащенность средствами контроля исходного кода и анализ тестового покрытия. Проверяются, в частности, исполняемые и вызываемые (или нет) операторы, процедуры и переменные);

8. анализ производительности (возможность анализа произво­дительности программ. Анализируемые параметры произ­водительности могут включать степень использования ре­сурсов центрального процессора и памяти, количество об­ращений к определенным элементам данных и (или) сег­ментам кода, временные характеристики и т.д.);

9. анализ исключительных ситуаций;

10. динамическое моделирование среды;

11. интеграционное тестирование.

2. Функциональные характеристики применения (инструмен­тальных средств).

2.1. Среда функционирования:

1. требуемые технические средства;

2. требуемое ПО.

2.2. Совместимость:

1. совместимость с различными средами функционирования;

2. совместимость с другими средствами по данным, представ­лению и управлению (способность к взаимодействию с другими средствами, включая непосредственный обмен данны­ми (примерами таких средств являются текстовые процес­соры и другие средства документирования, базы данных и другие CASE-средства) и возможность преобразования репозитория или его части в стандартный формат для обработ­ки другими средствами).

2.3. Аспекты применения:

1. соответствие технологическим стандартам (касающимся языков, баз данных, репозитория, коммуникаций, графи­ческого интерфейса пользователя, документации, безопас­ности, стандартов обмена информацией);

2. область применения (системы обработки транзакций, сис­темы реального времени, экономические информационные системы и др.);

3. размер поддерживаемых приложений (определяет ограниче­ния на такие величины, как количество строк кода, уровней вложенности, размер базы данных, количество элементов данных, количество объектов управления конфигурацией);

4. поддерживаемые методы (набор методов и методик, поддер­живаемых CASE-средством. Примерами являются струк­турный или объектно-ориентированный анализ и проекти­рование);

5. поддерживаемые языки (все языки, используемые CASE-средством: языки программирования, языки баз данных, графические языки, языки спецификации проектных тре­бований и интерфейсы операционных систем);

6. локализация.

3. Характеристики качества.

3.1. Надежность:

1. контроль и обеспечение целостности проектных данных;

2. автоматическое резервирование;

3. безопасность (защита от несанкционированного доступа);

4. обработка ошибок (обнаружение ошибок в работе системы, извещение пользователя, корректное завершение работы или сохранение состояния к моменту прерывания);

5. анализ отказов в критических приложениях.

3.2. Удобство использования:

1. удобство пользовательского интерфейса (удобство располо­жения и представления часто используемых элементов эк­ рана, способов ввода данных и др.);

1. простота освоения (трудовые и временные затраты на осво­ение средств);

2. адаптируемость к конкретным требованиям пользователя: различным алфавитам, режимам текстового и графического представления (слева направо, сверху вниз), различным форматам даты, способам ввода-вывода (экранным формам и форматам), изменениям в методологии (изменениям гра­фических нотаций, правил, свойств и состава предопреде­ленных объектов) и др.;

3. качество документации и учебных материалов (полнота, по­нятность, удобочитаемость, полезность компьютерных учебных материалов, учебных пособий, курсов);

4. качество диагностики (понятность и полезность диагности­ческих сообщений для пользователя);

5. простота установки и обновления версий.

3.3. Эффективность:

1. требования к оптимальному размеру внешней и оператив­ной памяти, типу и производительности процессора, обес­печивающим приемлемый уровень производительности;

2. эффективность рабочей нагрузки: эффективность выполне­ния CASE-средством своих функций в зависимости от ин­тенсивности работы пользователя (например, количество нажатий клавиш или кнопки мыши, требуемое для выпол­нения определенных функций);

3. производительность: время, затрачиваемое CASE-сред­ством для выполнения конкретных задач (например, время ответа на запрос, время анализа 100 000 строк кода).

3.4. Сопровождаемость:

1. уровень поддержки со стороны поставщика - скорость раз­решения проблем, поставки новых версий, обеспечение до­полнительных возможностей;

2. трассируемость обновлений — простота освоения отличий новых версий от существующих;

3. совместимость обновлений — совместимость новых версий с существующими, включая, например, совместимость по входным или выходным данным;

4. адаптируемость к изменениям в методах;

5. сопровождаемость конечного продукта.

3.5. Переносимость:

1. совместимость с версиями операционной системы;

1. переносимость данных между различными версиями средств;

2. соответствие стандартам переносимости, включающим до­кументацию, коммуникации и пользовательский интер­фейс, оконный интерфейс, языки программирования, язы­ки запросов и др.

4. Общие характеристики.

4.1. Приобретение:

1. затраты на технологию, включающие стоимость приобре­тения, установки, начального сопровождения и обучения. Следует учитывать цену для всех необходимых конфигура­ций, включая единственную копию, много копий, локаль­ную лицензию, лицензию для предприятия, сетевую ли­цензию;

2. лицензионная политика — доступные возможности лицен­зирования, право копирования (носителей и документа­ции), любые ограничения и (или) штрафные санкции за вторичное использование (подразумевается продажа поль­зователем ТС ПО продуктов, в состав которых входят неко­торые компоненты ТС ПО, использовавшиеся при разра­ботке продуктов);

3. экспортные ограничения.

4.2. Реализация:

1. оценочный эффект от внедрения ТС ПО — уровень продук­тивности, качества и т.д. Такая оценка может потребовать экономического анализа;

2. инфраструктура, требуемая для внедрения ТС ПО.

4.3. Поддержка:

1. профиль поставщика — общие показатели возможностей поставщика. Профиль поставщика может включать масш­таб его организации, стаж в бизнесе, финансовое положе­ние, список любых дополнительных продуктов, деловые связи (в частности, с другими поставщиками технологии), планируемую стратегию развития;

2. профиль продукта — общая информация о продукте, вклю­чая срок его существования, количество проданных копий, наличие, размер и уровень деятельности пользовательской группы, систему отчетов о проблемах, программу развития продукта, совокупность применений, наличие ошибок и др.;

3. доступность и качество обучения (обучение может предос­тавляться на площади поставщика, пользователя или где-либо в другом месте).

4.4. Сертификация:

4. сертификация поставщика — сертификаты, полученные от специализированных организаций в области создания ПО (например, SEI и ISO), удостоверяющие, что квалификация поставщика в области создания и сопровождения ПО удов­летворяет некоторым минимально необходимым или вполне определенным требованиям. Сертификация может быть неформальной, например на основе анализа качества работы поставщика;

5. сертификация продукта;

6. поддержка поставщика — доступность, реактивность и каче­ство услуг, предоставляемых поставщиком для пользовате­лей ТС ПО. Такие услуги могут включать телефонную «горя­чую линию», местную техническую поддержку, поддержку в самой организации.

На основе данного набора параметров анализируются и клас­сифицируются существующие ТС ПО. Общий набор критериев, применяемых для оценки ТС ПО, приведен ниже.

Критерии, применяемые для оценки ТС ПО

Критерий	Определение
Минимум времени обучения	Количество человеко-часов, затрачиваемых на обучение ТС ПО
Минимум затрат на обучение	Стоимость процесса обучения плюс все накладные расходы, связанные с обучением
Минимум трудоемкости создания ПО	Количество человеко-месяцев, затрачиваемых на создание ПО с использованием ТС ПО
Минимум трудоемкости сопровождения ПО	Количество человеко-месяцев, затрачиваемых на сопровождение ПО с использованием ТС ПО
Минимум времени создания ПО	Временной интервал от начала до завершения проекта (сдачи ПО в эксплуатацию) при использовании данной ТС ПО
Максимум продуктивности	Объем работы (измеряемый в количестве строк кода или функциональных точек), приходящийся на единицу трудоемкости (человеко-месяц) при использовании данной ТС ПО
Максимум качества создаваемого ПО	Количество дефектов в рабочих продуктах при использовании данной ТС ПО 1. Доход от использования ПО — Затраты на создание и сопровождение ПО / Затраты на создание и сопровождение ПО 2. Трудоемкость создания и сопровождения ПО без использования ТС ПО — Трудоемкость создания и сопровождения ПО с использованием ТС ПО / Трудоемкость создания и сопровождения ПО с использованием ТС ПО
Возврат инвестиций
Минимум затрат на создание ПО	Стоимость выполнения проекта (до сдачи ПО в эксплуатацию) с использованием ТС ПО
Минимум затрат на сопровождение ПО	Отношение стоимости сопровождения ПО при использовании данной ТС ПО к совокупным затратам на информационные ТС ПО в организации
Минимум времени внедрения ТС ПО	Временной интервал от начала внедрения ТС ПО до выхода на безубыточный уровень (начало возврата инвестиций в ТС ПО)
Минимум затрат на внедрение ТС ПО	Суммарная стоимость приобретения, обучения и сопровождения ТС ПО
Минимальный срок окупаемости затрат на внедрение ТС ПО	Временной интервал от начала внедрения ТС ПО до полной окупаемости затрат на ее внедрение

В результате выполненной оценки может оказаться, что ни одна доступная технология не удовлетворяет в нужной мере всем критериям и не покрывает все потребности проекта. В этом слу­чае может применяться набор средств, позволяющий построить на их базе единую технологическую среду.

5.3.5