4.5. Поиск текстовой информации

4.5.1. Модели поиска текстовой информации

Модель поиска текстовой информации характеризуется четырьмя парамет­рами:

• представлением документов и запросов;

• критерием смыслового соответствия;

• методами ранжирования результатов запроса;

• механизмами обратной связи, обеспечивающими оценку релевантности пользователем.

Рассмотрим наиболее распространенные модели поиска с позиции первых трех параметров (обсуждению четвертого посвящен п. 4.5.2).

Булева модель представляет документы с помощью набора терминов, при­сутствующих в индексе, каждый из которых рассматривается как булева пе­ременная. При наличии термина в документе соответствующая переменная принимает значение Тrue. Присваивание терминам весовых коэффициентов не допускается. Запросы формулируются как произвольные булевы выраже­ния, связывающие термины с помощью стандартных логических операций: АND, ОR. или NOT. Мерой соответствия запроса документу служит значение статуса выборки (RSV, retrieval status value). В булевой модели RSV равно либо 1, если для данного документа вычисление выражения запроса дает Тrue, либо 0 в противном случае. Все документы с RSV = 1 считаются релевантны­ми запросу.

Такая модель проста в реализации и применяется во многих коммерчес­ких системах. Она позволяет пользователям вводить в свои запросы произвольные сложные выражения. Однако эффективность поиска обычно невы­сока. К тому же, ранжировать результаты невозможно, так как все найден­ные документы имеют одинаковые К8У, а терминам нельзя присвоить весовые коэффициенты. Нередко результаты выглядят противоестественно. Например, если пользователь указал в запросе десять терминов, связанных логической операцией АND, документ, содержащий девять таких терминов, в выборку не попадет. Для повышения эффективности поиска в ИПС часто применяется обратная связь с пользователем. Как правило, система просит пользователя указать релевантность или нерелевантность нескольких документов, включенных в начало списка вывода. Поскольку результаты не ранжируются, выбор документов для подобной экспертной оценки релевантности затруднен.

Модель нечетких множеств основывается на теории нечетких множеств, допускающей (в отличие от обычной теории множеств) частичную принадлежность элемента тому или иному множеству. Здесь логические операции переопределены таким образом, чтобы учесть возможность неполной принадлежности множеству, а обработка запросов пользовать выполняется аналогично булевой модели. Тем не менее ИПС на основе подобной модели оказывается практически столь же не способной классифицировать полученные результаты, что и системы, базирующиеся на булевой модели.

Строгая булева модель и модель, использующая методы теории нечетких множеств, требуют меньших объемов вычислений (при индексировании оценке соответствия документов запросу), чем другие модели. Они сложны алгоритмически и предъявляют не очень жесткие требования к другим ресурсам, таким как дисковое пространство для хранения представлен документов.

Пространственно-векторная модель основана на предположении что совокупность документов можно представить набором векторов в пространстве, определяемом базисом, из n нормализованных вектор терминов. Значение первого компонента вектора представляющего документ отражает вес термина в нем. Запрос пользователя также представляется n-мерным вектором. Показатель RSV, определяющий соответствие документа запросу, задается скалярным произведением торов запроса и документа. Чем больше RSV, тем выше релевантное документа запросу.

Достоинство подобной модели в ее простоте. Она позволяет легко реализовать обратную связь для оценки релевантности пользователем. В то же время приходится жертвовать выразительностью спецификации запроса, присущей булевой модели.

Вероятностные модели. В пространственно-векторной модели подразумевается, что векторы терминов, ортогональны и существующие взаимосвязи между терминами не должны приниматься во внимание. Кроме того в такой модели не специфицируется степень соответствия "запрос - документ" и она оценивается достаточно произвольно. Вероятностная моде учитывает все взаимозависимости и связи терминов, а также определяет

такие основные параметры, как веса терминов запросов и форма соответствия "запрос - документ".

Данная модель базируется на двух главных параметрах: Рr(rе1) и Рr(nonrе1), е на вероятности релевантности и нерелевантности документа запросу пользователя, которые вычисляются на основе вероятностных весовых коэффициентов терминов и фактического присутствия терминов в документе. Подразуме­вается, что релевантность является бинарным свойством, и поэтому Рr(rе1) = 1 - Pr(nоnrеl). Кроме того, в этой модели применяются два стоимостных пара­метра: а1 и а2. Они характеризуют соответственно потери, связанные с вклю­чением в результат нерелевантного документа и пропуском релевантного доку­мента.

Данная модель требует определения вероятностей вхождения термина в релевантные и нерелевантные части совокупности документов, оценить кото­рые довольно сложно. Между тем она выполняет важную функцию, объясняя процесс поиска и предлагая теоретическое обоснование методов, применяв­шихся ранее эмпирически (например, введение некоторых систем определения весовых коэффициентов терминов).