4.4. Обработка входящей текстовой информации

Т.к. документы, поступающие на вход ДИПС, записаны на ЕЯ, в ней обязательно должна проводиться операция перевода текстов входных документов ЕЯ на ИПЯ. Тип используемого ИПЯ оказывает сильное влияние на суть процессов обработки информации в конкретных ДИПС. В случае применения ИПЯ дескрипторного типа такая операция перевода называется индексирование при использовании рубрикатора - рубрицированием.

На сегодняшний день среди дескрипторных ИПЯ наибольшее распространение в автоматизированных ДИПС получили языки без грамматики и без контроля по словарю. При их использовании говорят о полнотекстовом индексировании.

В операции перевода можно выделить два этапа:

1 Анализ смыслового содержания текста с целью выделения из него сведе­ний об известных системе объектах, их свойствах, а также отношениях между ними.

2. Выражение этих сведений на ИПЯ, т.е. принятие решения о приписыва­нии данному сообщению выражений на ИПЯ (о включении соответству­ющих выражений на ИПЯ в ПОД).

Этап анализа смыслового содержания текста связан с необходимостью ис­пользования лингвистических и экстралингвистических знаний. Лингвистичес­кие знания являются общими для одного языка и на сегодняшний день являют­ся достаточно хорошо формализованными, в то время как экстралингвистичес­кие сильно зависят от конкретной предметной области, а задача их формализа­ции является одной из самых сложных. В этой связи в современных ДИПС этап анализа текста чаще всего сводится к лингвистическому анализу, прово­димому с целью нормализации слов и словосочетаний. Под нормализацией слов понимается их приведение к канонической форме (например, для существи­тельных - именительному падежу, единственному числу и т.п.), под нормали­зацией словосочетаний - нормализация составляющих и запись их в опреде­ленной последовательности (например, сначала записывается основное слово, а затем - зависимые слова). Нормализованные слова и словосочетания часто называют терминами.

4.4.1. Лингвистический анализ текста

Лингвистический анализ текста может состоять из двух этапов:

1) морфологического анализа;

2) синтаксического анализа.

Цель морфологического анализа состоит в получении основ (под основой понимается словоформа с отсеченным окончанием) со значениями граммати­ческих категорий (например, часть речи, род, число, падеж) для каждой из сло­воформ.

Различают точные и приближенные методы морфологического анализа. Точных методы базируются на использовании словаря основ слов или словоформ, приближенные - на экспериментально установленной связи между ко­нечными буквосочетаниями словоформ и их грамматической информацией.

Использование словаря словоформ в точных методах позволяет легко пре­одолеть трудности морфологического анализа, связанные с такими явлениями в русском языке, как, например, чередование гласных и согласных. При таком подходе задача получения основ слов и грамматических признаков сводится в основном к поиску в словаре и выбору соответствующей информации (соб­ственно же морфологический анализ требуется лишь в том случае, если словоформа не найдена в словаре). При достаточно полном словаре скорость обработки материала достаточно высока, но объем необходимой памяти в 2-3 больше, чем при использовании словаря основ.

Морфологический анализ с использованием словаря основ базируется на флективном анализе, цель которого - правильное выделение основы слова. Основная трудность при использовании данного подхода связана с явление омонимии основ слов. Для ее устранения проверяется совместимость выделенной основы слова и его окончания.

В основе приближенных методов морфологического анализа лежит гипотеза, согласно которой по конечным буквам и буквосочетаниям можно практически однозначно определить грамматический класс слова. Основа слова выделяется следующим образом - от конца слова последовательно отсоединяется по 1-й букве и полученные буквосочетания сравниваются со списком окончаний, соответствующих данному грамматическому классу. Как только появится совпадение, делается вывод о том, что оставшаяся часть слова - его основа. Для анализа обычно хватает биграмм, триграммы и четырехграммы используются редко.

В результате проведения морфологического анализа могут возникать неоднозначности при определении грамматической информации, которые снимаются после проведения синтаксического анализа.

Задачей синтаксического анализа является осуществление грамматического разбора предложений на основе информации, заложенной в словаре. На: этапе выделяется подлежащее, сказуемое, дополнение и т.п., между которыми указываются связи по управлению в виде дерева зависимостей.

Любые средства синтаксического анализа состоят из двух частей: базы знаний о конкретном языке и собственно алгоритма синтаксического анализа, т.е. набора стандартных операторов, обрабатывающих текст на основе этих знаний. Источником знаний (грамматических) являются данные, полученные результате морфологического анализа, а также различные таблицы, которые априорно заполнены стандартным образом и представляют собой результат эмпирической обработки текстов на ЕЯ человеком с целью выделения определенных закономерностей, необходимых для проведения синтаксического анализа. Основу этих таблиц составляют совокупности конфигураций или набор валентностей (синтаксических и семантико-синтаксических), представляющих собой списки лексических единиц с указанием для каждой из них всех возможных вариантов связей с другими единицами выражения на ЕЯ (т.е. потенциальных связей). При практической реализации синтаксического анализа стараются добиваться полной независимости правил переработки данных таблиц от их содержимого, чтобы изменение в случае необходимости этого содержимого не влекло за собой перестройку самого алгоритма.

Более подробно см. книгу [15].