Обработка входящей информации в дипс

Так как документы поступают в систему в текстовом виде, то они должны быть преобразованы в ИПЯ. В случае применения классификационных языков применяется рубрицирование, в случае дескрипторных языков — индексирование. При этом в случае применения дескриптивных языков без грамматики и без контроля по словарю говорят о полнотекстовом индексировании.

Подготовка текста проходит в два этапа:

• анализ семантики системы, анализ объектов и связей;

• выражение этих связей на ИПЯ, приписывание объектами соответствующих выражений.

Анализ семантики обычно сводится к лингвистическому анализу, который заключается в нормализации слов и словосочетаний. Нормализированное слово называется термином.

При морфологическом анализе, как правило, отсекается все, кроме основы. Достаточно для анализа трех последовательных букв окончания.

Автоматическое индексирование осуществляется для отдельных и составных терминов. При этом, для генерации фраз применяется эвристический алгоритм. Выделяются группы взаимосвязанных слов. Для выделения групп применяется кластерный анализ. После этого определяется частота вхождения групп в документ. Если она высокая, то термины считаются связанными. Автоматическое индексирование заканчивается присвоением терминам весовых коэффициентов на основе статистических характеристик.

Пусть имеется совокупность N документов. Частота вхождения термина T_j в документ D_iобозначается tf_ij.Через df_j — число документов, в которых встретится T_j. Тогда величина, которая определяет, является ли термин T_j. дескриптором для документа D_i, — это вес термина

.

Все термины, входящие в документ ранжируем по весу и определяем термины, которые идентифицируют документ D_i.

В дескрипторных языках документ характеризуется словами. В классификационных — принадлежностью документа к некоторой группе. Для этого существует два подхода:

1. Рубрицирование на знаниях;

2. Рубрицирование по примерам.

Рубрицирование на знаниях

Формируется база знаний для языковых выражений соответствующих рубрикам. Фактически это ЭС для диагностики и классификации. Для представления базы знаний обычно используются правила продукции или семантические сети. В последнем случае строится тезаурус, в котором отражается иерархия понятий в полуавтоматическом режиме. Термины выделяются автоматически, а связи — в ручном режиме.

Существует 5 типов отношений:

1. более широкий термин — выше;

2. более узкий термин — ниже;

3. связанный термин — ассоциация;

4. целое для термина — часть;

5. часть для термина — целое.

Трудность создания таких тезаурусов — высокая, до нескольких лет. Кроме того, он, как правило, настроен на некоторую предметную область.

В продукционных системах эксперты вводят правила, а также формируются правила рубрицирования.

Процесс рубрицирования проходит в два этапа:

1. выделение понятий для распознавания;

2. принятие решений на основе правил рубрицирования.

Недостаток — высокая трудоемкость.

I часть — индексатор (индексирующий агент). Иногда называют пауком или роботом. II часть — поисковая машина, осуществляющая поиск по индексу. Индекс состоит из слов, которые встречаются в документах. При этом каждому слову соответствует список документов, которые его содержат. Несмотря на множество слов в естественных языках большинство из них употребляется не очень часто. С другой стороны, чаще всего употребляются слова, которые не несут информации (союзы, предлоги, артикли). Поэтому, поисковые словари имеют, как правило, не очень большие размеры.

Агент (индексатор) последовательно рассматривает все документы и выделяет индексную информацию или индексы. При этом документ делится на важную и не важную часть, с точки зрения идентификации документа. В индекс должна попадать, как правило, важная часть. При поиске каждая ИПС имеет свой информационно-поисковый язык. Стандарта на поисковые языки не существует. В Интернете существует SearchEngineerProject, в рамках которого пытаются создавать единый поисковый язык.

AltaVista содержит 11 миллиардов слов и 30 миллионов документов.

Достоинство словарных систем: как правило, автоматическое индексирование, недостаток: выдача большого количества документов при поиске.

Система метапоиска работает сразу с несколькими поисковыми серверами.

Search.com — наиболее известная система данного вида.

WebTown, Sledopit — аналогичные русскоязычные системы.