Поисковые каталоги

Поисковые каталоги устроены по тому же принципу, что и тематические каталоги крупных библиотек. Обратившись к поисковому каталогу, мы находим на его основной странице сокращенный список крупных тематических категорий, например таких, как Наука (Science).

Каждая запись в списке категорий – это гиперссылка. Щелчок на ней открывает следующую страницу поискового каталога, на котором данная тема представлена подробнее, например по предметам: Астрономия, Биология, География, Математика, Физика и многие другие. Щелчок на названии темы (например, Физика) открывает страницу со списком разделов (Астрофизика, Атомная физика, Гидродинамика, Меха­ника и т. д.). Продолжая погружение в тему, можно дойти до списка конкретных Web-страниц и выбрать себе тот ресурс, который лучше подходит для решения задачи.

Работа с поисковыми каталогами интуитивно проста. В них поиск информации практически всегда завершается более или менее плодотворно. Однако за этой простотой скрывается высочайшая сложность создания и ведения каталога. Поисковые каталоги создаются вручную, коллективом высококвалифицированных редакторов. При этом суммарный объем каталогизированных Web-ресурсов и степень охвата пространства WWW очень малы и непрерывно уменьшаются.

Несмотря на низкий коэффициент охвата, поисковые каталоги пользуются определенной популярностью. Их принято использовать для первичного, реферативного поиска информации по заданной теме. Если для пользователя тема является со­вершенно новой и неисследованной, то ему, прежде всего, нужны указатели на классические, наиболее содержательные ресурсы, а именно это и обеспечивают поисковые каталоги. Человеческий фактор, связанный с тем, что над составлени­ем каталога работают люди, а не программы, обеспечивает качественный отбор наиболее важных ресурсов по каждой теме.

Поисковые указатели

Автоматическую каталогизацию Web-ресурсов и удовлетворение запросов клиен­тов выполняют так называемые поисковые указатели. Из процесса наполнения базы данных поисковой системы исключается человеческий фактор. При этом значи­тельно падает качество ссылок, предоставляемых системой по результатам поиска, но одновременно увеличивается их количество.

Основной принцип работы поискового указателя заключается в поиске Web-ресурсов по ключевым словам. Пользователь описывает искомый ресурс с помощью ключевых слов. Поисковая система анализирует данные, хранящиеся в своей базе, и выдает список Web-страниц, соответствуй запросу. Вместе с гиперссылками выдаются краткие сведения о найденных ресурсах, на основании которых пользователь может выбрать нужные ему ресурсы.

Разные поисковые указатели применяют разные информационные технологии для обработки запросов пользователей. Чтобы эффективно выполнять поиск информации в WWW, надо хотя бы в общих чертах понимать принципы их работы.

Работу поискового указателя можно условно разделить на три этапа. Из них два этапа являются подготовительными – они незаметны для клиента, и лишь на третьем этапе происходит взаимодействие с пользователем, но от каждого из этапов зависят функциональные свойства поисковой системы и эффективность работы с ней.

Сбор первичной базы данных. На первом этапе поисковая система занимаем сканированием информационного пространства World Wide Web. Для этого используют специальные агентские программы – роботы. По своей сути это очень эффективные малоразмерные браузеры. Им не надо выполнять функции просмотра и воспроизведения содержимого – их задача состоит в том, чтобы автоматически разыскивать Web-ресурсы, следуя по гиперссылкам, и, убедившись, что этот ресурс системе еще не известен, копировать его в свою базу данных. Так же происходит и обновление ранее принятых докумен­тов, но измененных за время после предыдущего копирования.

Индексация базы данных. Поиск ключевых слов, введенных пользователем, в обширной базе – это весьма продолжительная опера­ция. Чтобы не задерживать клиента более чем на доли секунды, собранные базы данных проходят предварительную обработку, называемую индексацией. Построенный на этом этапе индекс получается достаточно компактным, и его можно хранить в оперативной памяти сервера. На этапе индексации создаются специализированные документы – поисковые указатели.

Рафинирование результирующего списка. Это третий этап работы, в ходе которого осуществляется взаимодействие с пользователем. На этом этапе создается список ссылок, который будет передан пользователю в качестве результирующего. Пользо­вательское представление о качестве работы поисковой системы напрямую зависит от технологий, использованных на этом этапе.

Рафинирование заключается в фильтрации и ранжировании результатов поиска. Под фильтрацией понимается отсев ссылок, которые выдавать пользователю неце­лесообразно. Прежде всего проверяется наличие дубликатов. Если система в одном списке выдает множество ссылок, ведущих к одному и тому же Web-ресурсу, это говорит о том, что ее средства добросовестно отработали два первых этапа, но ничего не сделали на третьем этапе. Дублирующиеся ссылки перегружают результирую­щий список и затрудняют выбор действительно полезных ресурсов.

Ранжирование заключается в создании специального порядка представления результирующего списка, при котором наиболее «полезные» (с точки зрения поис­ковой системы) ссылки приводятся в вершине списка, а наименее полезные – в его конце. Понимание критерия «полезности» для клиента той или иной ссылки мо­жет быть самым разнообразным. Именно поэтому разные поисковые системы, даже работающие с одинаковыми базами ресурсов, выдают разные результаты поиска.