Раздел 6: Экспорт результатов

После того, как разработанные на AQL экстракторы будут протестированы, вы изучите, каким образом можно экспортировать результаты в файлы HTML и CSV.

5.Подготовка к лабораторной работе

Перед тем, как начать выполнение лабораторной работы, спросите у преподавателя ваш логин (имя пользователя).

Для выполнения данной лабораторной работы вы будете использовать программы PuTTY и Xming.

PuTTY позволяет подключаться и управлять удаленным узлом через протокол SSH.

Xming используется для работы с графическими приложениями удаленного узла.

Чтобы приступить к выполнению данной работы, вам необходимо сделать следующее:

1. Запустите с рабочего стола Xming. Убедитесь, что он запустился: в трее (возле часов) должен появиться значок .

Рис.2 - Программа Xming

2. Запустите с рабочего стола PuTTY, введите настройки:

hostname: <IP-адрес сервера> (Спросите преподавателя)

port: 22

Рис.3 – Конфигурация PuTTY

3. В дереве настроек слева выберите SSH -> X11. Поставьте галочку “Enable X11 forwarding”. В поле X display location введите localhost:0

Нажмите Open.

Рис.4 - Конфигурация PuTTY

Рис.5 - Подключение к удаленному терминалу через PuTTY

4. Когда откроется окно терминала с надписью “login as:” введите имя своего пользователя (напр. aivanov), нажмите Enter, затем введите пароль (passw0rd).

Рис.6 – Ввод логина и пароля

5. Запустите на удаленной машине Eclipse, выполнив команды:

• cd /eclipse

• ./eclipse &

Рис.7 – Запуск Data Studio

Убедитесь в том, что задан верный рабочий каталог ( /home/<имя_пользователя>/workspace ) и нажмите ОК.

Рис.8 - Выбор рабочей области

6.Раздел 1: Импорт входных документов и словарей

6.1.Создание проекта для анализа текста

6.1.1.После запуска Eclipse вызовите окно BigInsights, щелкнув на кнопку Open perspective (правый угол сверху) как показано на рисунке ниже, и нажмите Other...

Рис.9 – Open perspective

6.1.2.В окне Open perspective выберите BigInsights как показано ниже.

Рис.10 – Диалоговое окно Open perspective

6.1.3.В Task Launcher перейдите на вкладку Develop.

Рис.11 – Создание Text Analytics Project в Eclipse

6.1.4.В списке задач выберите Create a text extractor.

Рис.12 – Создание Text Extractor

6.1.5.Введите название проекта MyFirstProject и нажмите кнопку Finish.

Рис.13 – Ввод имени проекта

6.1.6.Произойдет автоматическое переключение программы на другое окно под названием BigInsights Text Analytics Workflow

Рис.14 – Окно BigInsights

Примечание: Окно Text Analytics Workflow также может быть вызвано при помощи кнопки Open Perspective в верхнем правом углу окна.

На рисунке ниже показаны два ключевых окна:

• окно Extraction Tasks, показанное в верхнем левом углу,

• окно Extraction Plan, показанное справа.

Сейчас в окне Extraction Plan есть только название проекта верхнего уровня (MyFirstProject).

Рис.15 – Окно BigInsights Text Analytics

6.1.7.Структура проекта создается автоматически. Посмотрите структуру нажав вкладку Package Explorer сверху слева. Можно также открыть это окно через меню Eclipse, Window > Show View > Package Explorer.

Рис.16 – Стандартный вид проекта в Package Explorer

6.1.8.Для ознакомления со свойствами проекта щелкните правой кнопкой по MyFirstProject в окне Package Explorer и выберите Properties.

6.1.9.В диалоговом окне Properties разверните BigInsights и затем выберите Text Analytics.

В этом окне вы также можете указать Source (каталог проекта в файловой системе) или добавить связанные проекты в ваш текущий.

6.1.10.Щелкните по Cancel, чтобы закрыть окно Properties.

Рис.17 – Просмотр свойств проекта BigInsights Text Analytics

Вопрос № 1: С помощью какого инструмента можно посмотреть структуру созданного проекта? ________________________________________________________

6.2.Копирование входных файлов и словарей

После того, как вы создали новый проект, следует скопировать входные файлы и словари, которые в дальнейшем потребуются для анализа.

6.2.1.В окне Package Explorer в проекте MyFirstProject создайте новый каталог, назовите его data. Для этого кликните по имени проекта правой кнопкой мыши и выберите New -> Folder.

Рис.18 – Создание новой папки

6.2.2.Введите data, как имя каталога и нажмите Finish. В этой папке будут храниться входные файлы.

Рис.19 – Диалоговое окно папки

6.2.3.Щелкните правой кнопкой мыши по каталогу data и выберите Import → General → File System.

Рис.20 – Выбор файлов для импорта в File System

6.2.4.Нажмите Browse, выберите каталог /bootcamp/lab05_TextAnalytics и нажмите "OK".

6.2.5.Вернитесь к диалоговому окну Import, разверните вкладку lab05_TextAnalytics слева и отметьте IBMQuarterlyReports (при этом автоматически будут отмечены все текстовые файлы в папке). Нажмите кнопку Finish.

Рис.21 – Импорт каталога IBMQuarterlyReports в проект

Папка IBMQuarterlyReports, содержащая фактические отчеты, после импорта должна появиться под папкой data как показано ниже.

Рис.22 – Входные файлы, скопированные в папку data

6.2.6.Щелкните правой кнопкой мыши по MyFirstProject в Package Explorer и выберите Properties.

6.2.7.В диалоговом окне Properties убедитесь, что кодировка документов UTF-8, выберите Resource → Text file coding → Other → UTF-8. Нажмите OK, чтобы закрыть диалоговое окно Properties.

Рис.23 – Выбор кодировки UTF-8

6.2.8.Теперь необходимо импортировать словари в myFirstProject/textAnalytics/src. Щелкните правой кнопкой по папке src в вашем проекте, и выберите Import.

Переместитесь в /bootcamp/lab05_TextAnalytics/ и выберите папку dictionaries, выбрав папку и ее содержание. Нажмите кнопку Finish.

Рис.24 – Импорт словарей в проект

6.2.9.В MyFirstProject создайте папку aql и импортируйте в нее solution.aql, как вы делали это ранее. Этот файл содержит метод решения для этой лабораторной работы и может быть полезным. Щелкните правой кнопкой по папке aql, выберите Import. Перейдите к /bootcamp/lab05_TextAnalytics, и нажмите OK, в диалоговом окне Import, выберите lab05_TextAnalytics в левой части (но не ставьте флажок), затем выберите solution.aql в правой части. Нажмите кнопку Finish.

Рис.25 – Импорт файла solution.aql в проект

6.2.10.Структура файлов и каталогов в Package Explorer должна выглядеть следующим образом:

Рис.26 – Структура проекта после импорта требуемых файлов

Теперь, когда вы создали проект и импортировали документы, которые требуются для анализа, можно перейти к процессу извлечения необходимых данных из текстов. Следующие разделы описывают в общих чертах процесс создания и использования текстовых экстракторов для разных документов. Вы будете выполнять следующие шаги, соответствующие Плану извлечения (вкладка Extraction Tasks) в среде разработки Eclipse.

Рис.27 – Этапы текстового анализа в Extraction Tasks

Step 1: Select Documents – Шаг 1: Выбор документов

Step 2: Label Examples and Clues – Шаг 2: Маркировка ключевых слов

Step 3: Develop the Extractor - Шаг 3: Разработка экстрактора

Step 4: Test the Extractor – Шаг 4: Тестирование экстрактора

Step 5: Profile the Extractor – Шаг 5: Краткое описание экстрактора

Step 6: Export the Extractor – Шаг 6: Экспорт экстрактора

6.3.Выбор документов для анализа

6.3.1.Перейдите в окно Extraction Tasks Step 1: Select Documents → part a. Select Document Collection

6.3.2.Нажмите Browse Workspace и выберите папку /MyFirstProject/data/IBMQuarterlyReports. Нажмите OK.

Рис.28 – Выбор входных документов для анализа

6.3.3.После нажатия ОК, будет добавлен путь, и в этой папке появятся ниже окна документы. В выпадающем меню выберите Language: en, чтобы настроить на английский язык.

6.3.4.На шаге Step 1b в Extraction Tasks щелкните по /4Q2006 и нажмите Open. В окне редактора откроется содержание документа.

Рис.29 – Выбор документов для анализа

7.Раздел 2: Маркировка текста

Цель этого раздела состоит в том, чтобы познакомиться с процессом создания правил извлечения, маркируя необходимые фрагменты текста и ключевые слова, содержащиеся в них. Например, “Revenues from Software were $3.9 billion” - необходимый фрагмент текста. Имя подразделения ("Software") и сумма доходов (“3.9”) являются ключевыми словами в этом фрагменте.

Маркировка – это процесс выделения в документе фрагмента текста (или ключевого слова) и добавления в План извлечения (Extraction Plan).

Фрагменты текста добавляются в Extraction Plan как Примеры (Examples), а ключевые слова как Метки (Labels).