Методы статистической обработки текстов
Информация описывается двумя законами Джорджа Зипфа.
1-й закон. «Ранг-Частота». Если расположить частоты вхождения данного термина в документы и проранжировать по мере убывания частот, то получим ранги слов. Вероятность встретить произвольно выбранное слово равно отношению количества вхождения этого слова к общему числу слов в тексте.
Произведение вероятности обнаружения слова в тексте на ранг частоты — величина постоянная.
N — число слов в тексте, ri — ранг слова, Ni — количество вхождений слова.
С — разное в разных системах.
2-й закон. «Количество-Частота». Произведение частоты вхождения слова на количество разных слов с данной частотой есть величина постоянная для каждого естественного языка.
Слова, которые не несут информации, — stop-слова. Словарь stop-слов называется stop-list’ом.
Весовые коэффициенты определяются частотой вхождения терминов в документ.
Поиск текстовой информации
Модель поиска характеризуется следующими параметрами:
Представление документов и запросов;
Критерий смыслового соответствия;
Методы ранжирования результатов запросов;
Механизм обратной связи для оценки релевантности документов.
Для представления документов и запросов применяется сразу несколько моделей.
Модели представления документов и запросов Булева модель
В этом случае документ представляется с помощью набора терминов, присутствующих в индексе. Каждый термин представлен как булева переменная:
Весовые коэффициенты не вводятся. Сочетание терминов характеризует документ. Запрос формируется как произвольное булевское выражение, которое связано логическими операциями (И, ИЛИ, НЕ). Мерой соответствия служит значение статуса выборки (истина или ложь). RetrievalStatusValue.
Такая модель проста в реализации и применяется во многих ДИПС. Эффективность поиска невысокая и невозможно ранжировать документы по релевантности.
Наиболее распространенной является вторая модель.
Пространственно-векторная модель
(предложена Солтоном в 1975 г.).
Документы в этом случае представляют собой набор векторов в n-мерном пространстве. Пространство содержит nбазисных нормализованных векторов. Значение первого компонента вектора определяет вес термина. Запрос также представляется n-мерным вектором. Показатель соответствия (релевантности) определяется скалярным произведением вектора запроса на вектор документа.
Документы ранжируются по убыванию скалярных произведений.
Векторные модели
Модель базируется на двух параметрах:
параметр релевантности Pr (rel)
параметр нерелевантности Pn (nonrel)
Pr + Pn = 1
Эти параметры вычисляются на основе вероятностных коэффициентов терминов и фактического присутствия терминов в документе.
Данная модель требует определения вероятности вхождения термина в документ, что, как правило, связано с дополнительными затратами.
Наиболее распространенной является векторная модель, которая для индексирования чаще всего использует от 20 до 49 терминов по частоте вхождения.
Обратная связь с пользователем дипс
В отличие от баз данных в ДИПС нет четкого представления документов и запросов пользователей, поэтому пользователь постепенно уточняет запросы методом итераций. Обратная связь позволяет оценивать релевантность документов, найденных по первоначальному запросу. В векторной модели множество документов считается релевантным, если оно образует положительную обратную связь, и нерелевантным — если отрицательную.
Есть два подхода к использованию обратных связей:
модификация запроса — влияет на текущий запрос, но не влияет на другие запросы;
модификация представления документа — влияет на эффективность поиска в последовательных запросах.