Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
5 лаб5_AQL.doc
Скачиваний:
3
Добавлен:
01.07.2025
Размер:
4 Мб
Скачать
☆

9.Раздел 4: Тестирование экстрактора

Теперь, когда мы создали экстрактор, определяющий правило извлечения для одной основной характеристики – “Division”, пора его протестировать.

В Extraction Tasks перейдите к Шагу 4: Тестирование экстрактора (Step 4: Test the Extractor). Выберите последнюю опцию, Run the extraction plan on the set of documents that are labeled (Запустить план извлечения для выбранного набора документов), как показано на рисунке ниже. Щелкните по значку около него.

Результаты извлечения будут отражены в окне Annotation Explorer как показано ниже.

Рис.47 – Тестирование экстрактора

Столбец Span Attribute в центре окна Annotation Explorer показывает имена подразделений, извлеченные экстрактором.

Вы заметите в нижней части окна, что "software" берется неправильно, как имя подразделения. Эту ошибку можно исправить, изменив оператор Extract Dictionary, используя флаг "Exact".

Измените оператор create view в файле Division_basics.aql как показано ниже, сохраните новый aql и снова запустите экстрактор.

create view Division as

extract dictionary 'DivisionDict'

with flags 'Exact'

on R.text as match

from Document R;

Вопрос № 3:

Какой инструмент используется для просмотра результатов извлечения экстрактором?

________________________________________________________

Чтобы увидеть расположение извлеченного текста в документе дважды щелкните по одной из строк для Systems and Technology Group в Annotation Explorer. (Текст выделен синем в окне редактирования документа). Структурный вид аннотации раскрывается на правой стороне. Установите флажок на подразделение, и будут выделены все соответствия, извлеченные из документа, как показано на рисунке ниже.

Рис.48 – Визуальное исследование извлеченных основных характеристик

Вернитесь к Extraction Tasks, щелкните по значку около Step 4.a, “Run the extraction plan on the entire document collection”. В результате вы получите сведения по всем документам.

9.1.Использование словаря для экстрактора

9.1.1.Чтобы удалить все извлеченные объекты, которые не принесли пользы - как альтернатива использованию флагов “Exact” в dictionary Extractor - можно фильтровать результаты экстрактора. Как показано ниже, такая фильтрация возможна используя условие наличия (having)

create view Division as

extract dictionary 'DivisionDict'

-- with flags 'Exact'

on R.text as match

from Document R

having MatchesRegex ( /\p{Lu}\p{M}*.*/, match);

Здесь \p {Lu, }\\p {M} *.* является стандартным выражением, которое соответствует любой прописной букве Unicode (\p {Lu}, сопровождаемый 0 или большим количеством графем (\p {M} *) сопровождаемый нулем или большим количеством любых символов.

Кроме того, обратите внимание на использование "--" (двойной дефис) в начале строки, чтобы прокомментировать оператор ‘with flags…’'.

9.2.Разработка основных экстракторов для Number, Unit и Revenue

Теперь мы создадим экстракторы еще для двух основных характеристик – Number (число) и Unit (единица измерения). Мы ищем числа - 12, 12.5, 27.2 и единицы измерения - millions, billions. Позже мы будем использовать эти две характеристики вместе, чтобы извлекать информацию о суммах дохода - $1.2 миллиарда или $12.5 миллионов. Это - мощная функция AQL, которая позволяет нам идентифицировать основные характеристики на основе стандартного выражения или словаря.

Стандартные правила для идентификации ‘Number’