Структура дипс
В ДИПС входят 4 подсистемы:
Ввод и регистрация;
Обработка;
Хранение;
Поиск.
Подсистема ввода решает следующие вопросы:
создание электронных копий (сканирование, распознавание, ввод с клавиатуры);
подключение к каналам доставки электронных документов (электронная почта и т.д.);
преобразование форматов электронных документов;
присваивание электронным документам уникальных идентификаторов;
синхронизация имен.
Подсистема обработки формирует для каждого документа поисковый образ, который необходим для дальнейшего поиска. Образец хранится в индексе (индекс-таблице). Индекс- это таблица, в строках которой стоят IDдокумента, а в столбцах — информационные признаки, на основе которых строится данный образ документа. Данные, как правило, бинарные. Поскольку таблицы сильно разряжены, то для их хранения обычно используют свертку. Запрос пользователя в системе преобразуется в поисковое предписание (ПП) и передается в систему поиска.
Подсистема хранения содержит исходные документы без изменения. При этом для хранения используют средства сжатия документов и быстрого поиска. Обычно используют доступ по индексу, системы архивации. В подсистему хранения подаются идентификаторы релевантных документов, и она осуществляет их выдачу.
Подсистема поиска осуществляет поиск в индексе тех документов, ПОД которых удовлетворяют ПП, с точки зрения КСС.
Формальное представление семантики документов
Естественный язык не может быть использован в качестве представления информации из-за следующих недостатков:
Многообразие передачи смысла, обеспеченное лексикой языка, контекстом, текстуальными отношения между словами, ссылками на раннее упомянутые слова.
Семантическая неоднозначность слов.
Синонимия, антонимия.
Многозначность (полисемия) совпадение написания похожих слов.
Эллипсность — пропуск подразумеваемых слов.
Невозможность использования естественных языков для поиска информации привело к созданию информационно-поисковых языков (ИПЯ). Эти языки применяются для смыслового описания текста, с целью последующего поиска. Они строятся на базе естественных языков, но отличаются четкими грамматическими правилами и отсутствием неоднозначностей. Все языки в ИПС делятся на два класса
классификационные
дескрипторные (словарные)
В классификационных языках кроме простых понятий включены сложные (сочетания слов). При этом, каждое слово во фразе обозначает класс. Например: «языки. программирования. процедурные. Паскаль.».
Частным случаем таких языков являются рубрикаторы, в которых слова — названия тематических рубрик по уровням иерархии. Такая структура называется классификатором. В нем сложные понятия между собой связаны жесткими связями. Группа связанных классификаторов — систематизаторы.
Классификационные языки содержится в Internet-ИПС (yahoo, au, rambler, …).
В дескрипторных языках лексические единицы заранее не связаны текстуальными отношениями. Сложные синтаксические структуры в этом случае создаются во время смыслового представления документа. Из набора дескрипторов можно строить различные фразы.
Дескрипторные языки бывают с грамматикой и без грамматики. В языках с грамматикой существуют жесткие правила построения. Например: «действие-субъект-объект». В языках без грамматики порядок слов значения не имеет.
В Internet-ИПС фразы обычно строятся с использованием знаков математической логики. К таким системам относятся Aport, Yandex, Rambler.
OR — ‘’
AND — ‘+’
ANDNOT — ‘–’
Кроме того, уточнение значений может выполняться с помощью слов, расположены рядом, а также при помощи неточного задания слов, например: стол* (попадает столовая и т.д.). Слова могут приводиться к нормальной форме.
Уточнением может служить тезаурус (словарь, который содержит одинаковые по смыслу слова) (AltaVista).
Дескрипторные языки могут быть с контролируемой и свободной лексикой. В первом случае — состав ограничен словарем, во втором — может пополняться.