Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ЛекцииОСНИ.docx
Скачиваний:
41
Добавлен:
01.03.2025
Размер:
2 Мб
Скачать
☆

5.3. Общие принципы построения информационно-поисковых систем

5.3.1. Модели организации хранения и поиска документов

Поиск документов, отвечающих тем или другим критериям, зависит от того, каким образом организована система хранения документов. При создании систем хранения используются, как правило, две модели: иерархическая и гипертекстовая.

Использование иерархической модели подразумевает многоуровневую рубрикацию информационных ресурсов. Для выбора пути к нужному документу используются описания, составленные службой поддержки данной системы.

Гипертекстовая модель позволяет связывать документы ссылками, которые располагаются непосредственно в тексте.

Обе эти модели имеют существенные недостатки. Они создаются людьми, а это означает, что, во-первых: объем обработанных таким образом документов не может быть очень большим и актуальность обработки также не велика; во-вторых: связанные документы могут быть ограничены какой-либо одной предметной областью, о которой, к тому же, у пользователя могут быть совершенно иные представления, чем у составителя рубрикатора; в- третьих: при поиске в таких системах, пользователю придется просмотреть множество документов, полезной информацией, в которых будут лишь только ссылки на другие ресурсы.

Эти проблемы становятся особенно острыми при больших объемах информации, высокой скорости их обновления и высокой разнородности потребностей пользователей. Помочь в решении этих проблем призваны информационно поисковые системы (ИПС). Такие системы однажды созданные, могут работать автономно. Принцип их взаимодействия с пользователем заключается в выдаче списка указателей на документы, удовлетворяющие запросу. Этот список может быть отсортирован по релевантности.Таким образом, ИПС может обеспечить очень быстрый поиск необходимого документа – притом, что от пользователя требуется лишь ввести запрос.

Первые информационно-поисковые системы были созданы достаточно давно. Большинство открытий в этой области приходится на 70-е и 80-е годы. Сейчас, с развитием Интернета, количество пользователей этих систем исчисляется миллионами, а в скором будущем будет исчисляться миллиардами. Так же стремительно растет количество документов, хранящихся в Интернете, что ставит все более сложные задачи перед разработчиками ИПС.

5.3.2. Основные принципы информационного поиска

Основные принципы информационного поиска были сформулированы еще в первой половине ХХ века. Между 1939 и 1945 годами У. Е. Баттеном была разработана система для отыскания патентов. Каждый патент классифицировался в соответствии с понятиями, к которым он имел отношение. Для каждого понятия, использовавшегося в системе, была создана 800-позиционная перфокарта. При регистрации в системе нового патента находились карты, соответствующие тем понятиям, которые в нем рассматриваются, и в позиции пробивались номера патента. Чтобы найти патент, в котором рассматривается одновременно несколько понятий, необходимо было совместить карты, соответствующие этим понятиям. Номер нужного патента определялся из позиции просвета

Основные принципы информационного поиска с тех пор не изменились. Во-первых, должен быть создан массив указателей на информационные ресурсы. Указатель (index) содержит в себе некое свойство документа и ссылки на документы, этим свойством обладающие. Указатели могут быть различных видов. Широко распространен, например, авторский указатель. Такой указатель позволяет получить ссылки на работы интересующего нас автора. Также указатели могут быть составлены и по другим атрибутам документа. В системе Баттена использовался предметный указатель,то есть документы классифицировались по понятиям (предметам), которые в них затрагиваются.

Современные ИПС должны уметь отвечать на любой (заранее не определенный) вопрос в рамках своей предметной области. Знакомство с работой баз данных, дает некоторое представление об ИПС. ИПС при поиске и отборе информации должна уметь решать две связанные, но принципиально разные задачи:

Прочитав некую строку таблицы, ИС должна определить, удовлетворяет ли эта строка сформулированному запросу. Если да, включить строку в выборку, если нет - пропустить.

Если таблица невелика, система может просто перебрать все записи. Однако, если таблица содержит тысячи, сотни тысяч, а то и миллионы записей, то ее работа должна быть организована таким образом, чтобы ИС находила нужную информацию не просматривая все записи. То есть система должна быть организована таким образом, чтобы поиск в ней был эффективен. Достигается это различными способами.

Любая поисковая система использует предметный указатель,позволяющий отыскивать документы, касающиеся некоего «предмета». Для составления предметного указателя анализируется содержание документа и определяется «предмет» или «предметы», о которых в документе идет речь. Затем названия этих предметов переводятся на информационно-поисковый язык. (ИПЯ). Таким образом,мы получаем поисковый образ документа. Проиндексировав (создав поисковые образы) все информационные ресурсы, мы получаем то, что принято называть индексом - основной массив данных ИПС.

Так как процесс поиска заключается в сопоставлении запроса пользователя с имеющимися данными, полученный запрос также должен быть переведен на ИПЯ запроса и поисковых образов документов пользователь получает список ссылок на документы, которые соответствуют, по мнению системы, его запросу.

Типовая схема ИПС представлена на рис. 4.1.

Как видно, поиск происходит не по тексту документов, а по их поисковым образам, составленным на ИПЯ. Поэтому ИПЯ – основная часть информационно-поисковой системы, от которой в первую очередь зависит качество системы.

В состав информационно-поискового языка входят:

1. Словарь индексационных терминов – множество терминов индексирования.

2. Кодовый словарь – множество кодовых терминов.

3. Словарь входов – множество входных терминов.

4. Вспомогательные средства языка индексирования – средства, используемые совместно с индексированными терминами для расширения или сужения определенных понятий.

5. Правила использования языка индексирования.

Для повышения эффективности поиска словарь, используемый системой, должен быть контролируемым, то есть он должен быть организован таким образом, чтобы полнота и точность поиска была оптимальной. Очевидно, что организация словаря зависит от многих факторов — предметной области, в которой будет использоваться ИПС, характера интересов пользователей, степени их подготовки и т. д.

Для улучшения результатов поиска необходимо определить степень специфичности терминов, используемых при индексации. Принято использовать два принципа — использование наиболее специфического термина, соответствующего объему и содержанию отражаемого понятия, и избыточное индексирование.

Под избыточным индексированием понимается дополнение поискового образа терминами, связанными с основным. При этом могут использоваться термины, связанные как с основным отношением обобщения или спецификации, так и ассоциативной связью. Дополнение поискового образа терминами с ассоциативной связью может увеличить полноту поиска, но неизбежно понижает его точность.

Недостатком избыточного индексирования является также увеличение объемапоисковых образов. Для решения этой проблемы во многих ИПС используетсяизбыточное индексирование не документов, а запросов.

Использование предметного индексирования не исключает использования присоздании поискового образа атрибутов документа. Это могут быть такие атрибуты, как данные об авторе, дата публикации, язык публикации и т. д.