Тестирование и опытная эксплуатация эс

На этапе тестирования созданные экспертные системы оцениваются с позиции двух основных групп критериев: точности и полезности.

С точностью работы связаны такие характеристики, как правильность делаемых заключений, адекватность базы знаний проблемной области, соответствие применяемых методов решения проблемы экспертным. Поэтому конечные оценки системе ставят специалисты в проблемной области - эксперты. Полезность же экспертной системы характеризуется степенью удовлетворения требований пользователя в части получения необходимых рекомендаций, легкости и естественности взаимодействия с системой, надежности, производительности и стоимости эксплуатации, способности обоснования решений и обучения, настройки на изменение потребностей. Оценивание экспертной системы осуществляется по набору тестовых примеров как из предшествующей практики экспертов, так и специально подобранных ситуаций. Результаты тестирования подлежат статистической обработке, после чего делаются выводы о степени точности работы экспертной системы.

Следующий этап жизненного цикла экспертной системы внедрение и опытная эксплуатация в массовом порядке без непосредственного контроля со стороны разработчиков и переход от тестовых примеров к решению реальных задач. Важнейшим критерием оценки становятся соотношение стоимости системы и ее эффективности. На этом этапе осуществляется сбор критических замечаний и внесение необходимых изменений. В результате опытной эксплуатации может потребоваться разработка новых специализированных версий, учитывающих особенности проблемных областей.

Программа работы

Конечным результатом выполнения данной работы является разработка ЭС продукционного типа в соответствии с вариантом задания.

1. Реализация экспертной системы

Разрабатывается программная оболочка экспертной системы продукционного типа (инструментальные средства), содержащая:

- интерпретатор (механизм логического вывода);

- подсистему объяснения полученного результата;

- интерфейс с пользователем (ввод и корректировка входных данных);

- механизм приобретения знаний.

С использованием разработанной программной оболочки создается ЭС.

Приводится распечатка базы знаний (наборов правил), базы данных (структуры и содержания файлов), листинг программы.

2. Тестирование экспертной системы

Приводятся распечатки прогонов тестовых примеров и объяснений полученных результатов. Число тестовых примеров должно соответст­вовать всем предполагаемым гипотезам для целевой переменной. Выполняются ручные расчеты факторов уверенности для подтвержде­ния правильности понимания студентами машинных алгоритмов.

Контрольные вопросы

1. Какие критерии качества ЭС выделяют на этапах тестирования и опытной эксплуатации?

2. Какие инструментальные средства используются на этапе реализации ЭС?

ВАРИАНТЫ ЗАДАНИЯ

1. Оценка кредитоспособности предприятия

Назначение ЭС - определение возможности предоставления кредита предприятию со стороны банка для осуществления кредита.

Предприятие предоставляет технико-экономическое обоснование проекта, в котором указывается цель, ожидаемая эффективность (коэффициент и срок окупаемости), ресурсное обеспечение. Одно­временно предприятие представляет финансовые документы: баланс и отчет о доходах, на основе которого делается заключение о финансовом положении. Банк должен всесторонне проверить ликвидность, доходность, задолженность, оборачиваемость средств предприятия. Учитываются также гарантийные поручительства и застрахованность рисков.

В результате анализа совокупного рейтинга предприятия, рассчитываемого в виде фактора уверенности, а также сравнения возможностей банка с выставленными предприятием условиями кредитования (размер, процентная ставка, срок и др.) банк принимает решений о предоставлении или непредоставлении кредита.