- •1.О языке обработки текста aql
- •2.Требования к обучаемому
- •3.Цели и задачи лабораторной работы
- •4.Сценарий лабораторной работы
- •Раздел 1: Импорт входных документов и словарей
- •Раздел 2: Маркировка ключевых слов в тексте
- •Раздел 3: Разработка экстрактора (aql)
- •Раздел 4: Тестирование экстрактора (aql)
- •Раздел 5: Изучение инструментов
- •Раздел 6: Экспорт результатов
- •5.Подготовка к лабораторной работе
- •7.1.Маркировка фрагментов текста
- •8.Раздел 3: Разработка экстрактора
- •Используя Package Explorer переместите папку dictionaries в
- •9.Раздел 4: Тестирование экстрактора
- •Столбец Span Attribute в центре окна Annotation Explorer показывает имена подразделений, извлеченные экстрактором.
- •9.2.Разработка основных экстракторов для Number, Unit и Revenue
- •9.2.1.В Extraction Plan переместитесь к RevenueByDivision → Labels → Amount. Щелкните правой кнопкой по New aql Statement и выберите Basic Feature aql Statement.
- •9.2.2.В диалоговом окне Create aql Statement введите "Number" как View Name и выберете Regular Expression как type.
- •9.2.3.Необходимо исправить следующие ошибки:
- •9.2.4.Выполните шаги, описанные в прошлом разделе и заполните диалоговое окно для “Create aql Statement”.
- •9.2.6.Обновите шаблон для ‘create view unit’, добавьте флаг следующим образом: “with flags 'IgnoreCase’ ” между строками extract и on
- •9.2.7.Переместитесь в RevenueByDivision → Labels → Revenue. Щелкните правой кнопкой по Revenue и выберите New aql Statement. Выберите Basic Features aql statement.
- •9.2.8.Выполните шаги, утвержденные в прошлом разделе и заполните диалоговое окно для “Create aql Statement”.
- •9.2.10.На данном этапе Extraction Plan должен выглядеть следующим образом:
- •9.3.Разработка дополнительных экстракторов
- •9.4.5.Теперь эти представления могут быть использованы в текущем модуле для экстрактора AmountwithUnit. Переместитесь к aql скрипту этого экстрактора.
- •9.4.6.Добавьте следующие строки кода в самом начале, сразу после названия модуля, для RevenueByDivision_CandidateGeneration, чтобы импортировать требуемые представления в текущий модуль.
- •9.6.Расширение экстрактора для RevenueByDivision: включение информации AmountwithUnit
- •Вернитесь в терминал и запустите браузер командой firefox
- •12.Результаты
9.Раздел 4: Тестирование экстрактора
Теперь, когда мы создали экстрактор, определяющий правило извлечения для одной основной характеристики – “Division”, пора его протестировать.
В Extraction Tasks перейдите к Шагу 4: Тестирование экстрактора (Step 4: Test the Extractor). Выберите последнюю опцию, Run the extraction plan on the set of documents that are labeled (Запустить план извлечения для выбранного набора документов), как показано на рисунке ниже. Щелкните по значку около него.
Результаты извлечения будут отражены в окне Annotation Explorer как показано ниже.
Рис.47 – Тестирование экстрактора
Столбец Span Attribute в центре окна Annotation Explorer показывает имена подразделений, извлеченные экстрактором.
Вы заметите в нижней части окна, что "software" берется неправильно, как имя подразделения. Эту ошибку можно исправить, изменив оператор Extract Dictionary, используя флаг "Exact".
Измените оператор create view в файле Division_basics.aql как показано ниже, сохраните новый aql и снова запустите экстрактор.
create view Division as
extract dictionary 'DivisionDict'
with flags 'Exact'
on R.text as match
from Document R;
|
Вопрос № 3: Какой инструмент используется для просмотра результатов извлечения экстрактором? ________________________________________________________ |
Чтобы увидеть расположение извлеченного текста в документе дважды щелкните по одной из строк для Systems and Technology Group в Annotation Explorer. (Текст выделен синем в окне редактирования документа). Структурный вид аннотации раскрывается на правой стороне. Установите флажок на подразделение, и будут выделены все соответствия, извлеченные из документа, как показано на рисунке ниже.
Рис.48 – Визуальное исследование извлеченных основных характеристик
Вернитесь к Extraction Tasks, щелкните по значку около Step 4.a, “Run the extraction plan on the entire document collection”. В результате вы получите сведения по всем документам.
9.1.Использование словаря для экстрактора
9.1.1.Чтобы удалить все извлеченные объекты, которые не принесли пользы - как альтернатива использованию флагов “Exact” в dictionary Extractor - можно фильтровать результаты экстрактора. Как показано ниже, такая фильтрация возможна используя условие наличия (having)
create view Division as
extract dictionary 'DivisionDict'
-- with flags 'Exact'
on R.text as match
from Document R
having MatchesRegex ( /\p{Lu}\p{M}*.*/, match);
Здесь \p {Lu, }\\p {M} *.* является стандартным выражением, которое соответствует любой прописной букве Unicode (\p {Lu}, сопровождаемый 0 или большим количеством графем (\p {M} *) сопровождаемый нулем или большим количеством любых символов.
Кроме того, обратите внимание на использование "--" (двойной дефис) в начале строки, чтобы прокомментировать оператор ‘with flags…’'.
9.2.Разработка основных экстракторов для Number, Unit и Revenue
Теперь мы создадим экстракторы еще для двух основных характеристик – Number (число) и Unit (единица измерения). Мы ищем числа - 12, 12.5, 27.2 и единицы измерения - millions, billions. Позже мы будем использовать эти две характеристики вместе, чтобы извлекать информацию о суммах дохода - $1.2 миллиарда или $12.5 миллионов. Это - мощная функция AQL, которая позволяет нам идентифицировать основные характеристики на основе стандартного выражения или словаря.
Стандартные правила для идентификации ‘Number’
