4.5.2. Методы введения обратной связи с пользователем

В отличие от среды баз данных в ДИПС нет четкого представления доку­ментов и пользовательских запросов. Пользователи обычно начинают с неточ­ного и неполного запроса, а следовательно - с низкой эффективности поиска, постепенно уточняя его методом итераций. Система поддерживает обратную связь с пользователем, позволяя тем самым оценить релевантность докумен­тов, найденных по первоначальному запросу. Такой подход позволяет повы­сить эффективность поиска.

Чтобы упростить представление обратной связи, будем считать, что исполь­зуется пространственно-векторная модель поиска, а пользователю предостав­лена возможность просто отметить: релевантен документ или нет.

Множество документов, считающихся релевантными, формируют положи­тельную обратную связь, а множество документов, рассматриваемых как нере­левантные, - отрицательную.

Существуют два основных подхода к использованию такой обратной связи: модификация запроса и модификация представления документов. Методы, "кодифицирующие представление запроса, влияют только на текущий сеанс, но никак не сказываются на обработке других запросов. Методы, основанные на модификации представления документов, оказывают влияние и на эффек­тивность поиска в последующих запросах.

Базовое допущение, на которое опирается методология обратной ев состоит в том, что документы, релевантные некоторому пользовательскому запросу, близки друг к другу в векторном пространстве, т. е. соответствующие векторы в каком-то смысле "похожи" друг на друга. Использование обратной связи в механизмах поиска информации требует более описательного и семантически богатого представления документов, чем то, что получас в результате индексирования лишь названий или рефератов документов. Один из возможных способов - индексирование всего документа. Пространно-векторную модель нетрудно адаптировать ко всем методам поиска с ратной связью, в то время как вероятностная модель требует специальных расширений.

Модификация представления запроса. Существуют три способа повышения эффективности поиска путем модификации представления запроса. Первый - модификация весов терминов - предусматривает корректировку терминов в запросе, осуществляемую путем сложения вектора запроса и векторов, представляющих документы, которые получили положительную оценку (положительную обратную связь). Наряду с этим возможна дополнительная корректировка за счет вычитания векторов, входящих во множество с отрицательной обратной связью. Переформулированный таким образом запрос должен возвращать дополнительные релевантные документы, аналогичные тем, что попали во множество с положительной обратной связью. Данный процесс можно повторять итерационно до тех пор, пока качество выборки и число документов в ней не достигнут приемлемого уровня.

Результаты экспериментов показывают, что положительная обратная связь более содержательна и эффективна. Причина в том, что документы из множества с положительной обратной связью обычно более однородны, чем формирующие отрицательную обратную связь. Один из эффективных методов использует все документы с положительной обратной связью, но для вычитания из запроса берет только те векторы с отрицательной обратной связью, которые обладают наибольшим рангом нерелевантности.

Второй метод, называемый методом расширения запроса, модифицирует исходный запрос путем добавления к нему новых терминов. Эти термины выбираются из документа с положительной обратной связью и сортируются на основе их весов. К запросу добавляется заранее заданное число терминов из начала отсортированного списка. Эксперименты показывают, что последние три метода сортировки дают наилучшие результаты и добавление ограниченного числа наиболее важных терминов предпочтительнее учета всех терминов. При включении в запрос более 20 дополнительных терминов эффективность практически не увеличивается.

В некоторых случаях представленные два метода не дают удовлетворительных результатов из-за неоднородности документов с положительной обратной связью (иными словами, они не образуют компактного кластера в простран­стве документов) или из-за "вкрапления" нерелевантных документов во мно­жество релевантных. Один из способов обнаружения указанной ситуации - кластеризация документов с положительной обратной связью и выявление не­скольких однородных кластеров. Такой метод называется расщеплением зап­роса. Если множество документов кластеризуемо, то запрос разбивается на подзапросы таким образом, чтобы каждый подзапрос представлял один кластер. Затем можно настроить весовые коэффициенты терминов подзапроса или расширить его с помощью методов, уже описанных выше.

Модификация представления документов. Данный подход предусматрива­ет настройку векторов документов на основе обратной связи. Его называют также кластеризацией, ориентированной на пользователя. Суть метода - кор­рекция весовых коэффициентов векторов, попавших в выборку, с тем чтобы приблизить их к вектору запроса. В то же время веса найденных нерелевант­ных документов модифицируются таким образом, чтобы отдалить их от векто­ра запроса. При этом следует соблюдать осторожность - отдельные смещения документов должны быть невелики, так как оценка релевантности пользовате­лем неизбежно бывает субъективной.

Более подробно модели поиска и механизмы обратной связи рассмотрены в статье [16].