2.4.5. Оцінка системи

Після завершення етапу розробки промислової експертної системи необхідно провести її тестування у відношенні критеріїв ефективності. До тестування широко залучаються інші експерти з метою апробування роботоздатності системи на різних прикладах. Експертні системи оцінюються головним чином для того, щоб перевірити точність роботи програми і її корисність. Оцінку можна проводити, виходячи з різних критеріїв, які згрупуємо в такий спосіб:

• критерії користувачів (зрозумілість і «прозорість» роботи системи, зручність інтерфейсів і ін.);

• критерії запрошених експертів (оцінка рад-рішень, пропонованих системою, порівняння її з власними рішеннями, оцінка підсистеми пояснень і ін.);

• критерії колективу розроблювачів (ефективність реалізації, продуктивність, час відгуку, дизайн, широта охоплення предметної області, несуперечність БЗ, кількість безвихідних ситуацій, коли система не може прийняти рішення, аналіз чутливості програми до незначних змін у представленні знань, вагових коефіцієнтах, застосовуваних у механізмах логічного висновку, даних і т.п.).

2.4.6. Стикування системи

На цьому етапі здійснюється стикування експертної системи з іншими програмними засобами в середовищі, у якому вона буде працювати, і навчання людей, яких вона буде обслуговувати. Іноді це означає внесення істотних змін. Такі зміни вимагають неодмінного втручання інженера по знаннях чи якого-небудь іншого фахівця, що зможе модифікувати систему. Під стикуванням також мається на увазі розробка зв'язків між експертною системою і середовищем, у якому вона діє.

Коли експертна система вже готова, інженер по знаннях повинен переконатися в тому, що експерти, користувачі і персонал знають, як експлуатувати й обслуговувати її. Після передачі їм свого досвіду в області інформаційної технології інженер по знаннях може цілком надати її в розпорядження користувачів.

Для підтвердження корисності системи важливо надати кожному з користувачів можливість поставити перед ЕС реальні задачі, а потім простежити, як вона виконує ці задачі. Для того щоб система була схвалена, необхідно представити її як помічника, що звільняє користувачів від важких задач, а не як засіб їхнього заміщення.

Стикування включає забезпечення зв'язку ЕС з існуючими базами даних і інших систем на підприємстві, а також покращення системних факторів, що залежать від часу, щоб можна було забезпечити її більш ефективну роботу і поліпшити характеристики її технічних засобів, якщо система працює в незвичайному середовищі (наприклад, зв'язок з вимірювальними пристроями).

Приклад 2.1

Успішно стикована зі своїм оточенням система PUFF — експертна система для діагностики захворювань легень [Хейес-Рот і ін., 1987]. Після того як PUFF була закінчена і всі були задоволені її роботою, систему перекодували з LISP на Basic. Потім систему перенесли на ПЕОМ, що вже працювала в лікарні. У свою чергу, ця ПЕОМ була зв'язана з вимірювальними приладами. Дані з вимірювальних приладів відразу надходять у ПЕОМ. PUFF обробляє ці дані і друкує рекомендації для лікаря. Лікар у принципі не взаємодіє з PUFF. Система цілком інтегрована зі своїм оточенням — вона являє собою інтелектуальне розширення апарату дослідження легень, що лікарі давно використовують.

Приклад 2.2

Іншою системою, що добре функціонує у своєму оточенні, є САТ-1 [Уотермен, 1990] — експертна система для діагностики несправностей дизелів локомотивів.

Ця система була розроблена також на LISP, а потім була переведена на FORTH для того, щоб її можна було більш ефективно використовувати в різних локомотивних цехах. Майстер по ремонту запитує систему про можливі причини несправності дизеля. Система зв'язана з відеодиском, за допомогою якого майстру показують візуальні пояснення і підказки, що стосуються більш докладних перевірок, що він повинен зробити.

Крім того, якщо оператор не впевнений у тім, як усунути несправність, система надає йому навчальні матеріали, що фірма підготувала попередньо, і показує йому їх на відеотерміналі. Таким чином, майстер по ремонту може за допомогою експертної системи діагностувати проблему, знайти тестову процедуру, що він повинен використовувати, одержати на дисплеї пояснення, як провести тест, чи одержати інструкції про те, як справитися з виниклою проблемою.