4.4.2. Автоматическое индексирование

Автоматическое индексирование документов может основываться на про­стых, однословных или многословных составных терминах (фразах). Про­стые, однословные термины далеко не идеальны для индексирования, по­скольку смысл слов вне контекста нередко бывает неоднозначным. Терми­ны-фразы более осмысленны, обладают большей дискриминирующей мо­щью. Для генерации фраз может использоваться как синтаксический ана­лиз, так и ряд эвристических алгоритмов. Ниже приведено описание одного из них.

Предположим, что термин-фраза состоит из основы фразы (обычно это ее главная часть) и остальных компонентов. Термин с частотой вхождения в доку­менты, превышающей установленный порог, например df > 2, отмечается как основа фразы. Другими компонентами фразы должны быть термины со сред­ней или низкой частотой вхождения. При этом учитывается их связь с основой фразы, например, размещение их в одном предложении или на некотором за­данном расстоянии друг от друга.

Для генерации групп взаимосвязанных слов по замеченным закономернос­тям совместного их вхождения в документы применяются методы группирова­ния или кластеризации терминов. Если представить матрицу терминов-доку­ментов в виде двухмерного массива, то вышеупомянутый метод сравнивает друг с другом столбцы матрицы и делает заключение о том, входит ли та или иная группа терминов в несколько документов совокупности. Если такое неоднок­ратное вхождение имеет место, то термины считаются связанными и группи­руются в один класс.

Простые и составные термины, выполняющие чисто грамматическую фун­кцию, заносятся в так называемые списки исключения и удаляются.

Основу современных методов автоматического индексирования составляет присваивание весовых коэффициентов терминам на основе статистических характеристик.

Предположим, что в исследуемой совокупности имеется N документов. Пусть tf _ij - частота вхождения термина Т_j в документ D_i. Индексирование на основе частоты термина позволяет достичь лишь одной из целей индексирова­ния - полноты поиска. Между тем термины, сконцентрированные в отдельных Документах совокупности, можно использовать для повышения точности по­иска. Это позволит отделить документы, где такие термины встречаются, от тех, где их нет.

Пусть df_j-число документов, в которых встречается термин Т_j. Тогда вели­чина 1оg(N/df_j) может служить хорошим индикатором того, является ли термин T_j Дискриминатором документов.

Частоту термина и полученную выше величину можно объединить в рамках единой модели индексирования по частоте (здесь w_ij обозначает вес термина Т_j в документе D_i).

W_ij=tf_ijlog(N/df_j).

Еще один статистический метод индексирования основывается на дискриминации по термину. Здесь каждый документ рассматривается как точка в пространстве документов. Чем больше сходства у множеств терминов двух документов, тем ближе расположены соответствующие точки в пространстве документов (иными словами, повышается плотность точек в пространстве документов), и наоборот.

В рамках данной схемы можно оценивать качество термина как дискриминатора документа, основываясь на том, какие изменения произойдут в пространстве документов после введения термина в индекс. Для количественной оценки такого изменения удобно использовать увеличение или уменьшение расстояния между документами. Термин является хорошим дискриминатором, если его введение увеличивает среднее расстояние между документами. Другими словами, термин с хорошими дискриминирующими качествами снижает плотность в пространстве документов. Дискриминирующая характеристика термина Т_j, обозначаемая dv_j, вычисляется как разность между плотностями пространства документов до и после введения термина Т_j . Оказалось, что часто встречающиеся термины имеют отрицательные значения дискриминирующих характеристик, термины со средней частотой - положительные, а для редко встречающихся терминов эти значения близки к нулю. Для совместного учета частоты термина и его дискриминирующей характеристики применяют схему взвешивания, основанную на выражении

W_ij = tf_ijdv_j.

Полученные значения весов терминов могут использоваться в процессе принятия решения о включении каждого из терминов в ПОД. Однако чаще решение не принимается, а в ПОД заносятся все термины, встретившиеся в документе, и их веса.