1.4. Сравнения индексных поисковых систем и поисковых каталогов

Для оценивания качества поиска используют два параметра: коэффициент охвата и коэффициент попадания. Коэффициент охвата показывает, какую часть общемировых ресурсов WWW отображает поисковая система в своих базах данных. Для поисковых каталогов этот коэффициент довольно низкий. Для индексных поисковых систем он сравнительно высокий.

Коэффициент попадания показывает, какая часть ссылок, найденных поисковой системой, действительно отвечает запросам клиента. Для поисковых каталогов этот коэффициент очень высокий, поскольку эти каталоги составляют люди. Для индексных поисковых систем этот коэффициент достаточно низкий.

Поисковые каталоги имеют такие недостатки: низкая оперативность изменения информации и сравнительно небольшой "объем охвата" простора WWW.

Индексные поисковые системы создаются автоматическими средствами c наименьшими затратами ручного труда. Это дает возможность быстро обрабатывать большие массивы Web-документов и создавать индексные базы данных размером в миллиарды Web -страничек. Но отчеты о результатах поиска таких систем могут содержать тысячи гиперссылок, и наличие в документе определенных слов еще не означает принадлежность документа к определенной теме.

Поисковые каталоги целесообразно использовать для поиска информации с новой, раньше не изученной темы. Когда возможности поискового каталога исчерпанные, и возникает необходимость провести углубленный поиск, целесообразно перейти к использованию индексной поисковой системы.

Сегодня наиболее развитые поисковые системы Интернета объединяют в себе оба метода поиска (за темами и по ключевым словам) и разрешают использовать наиболее пригодный.

2. Принципы работы индексных поисковых систем

Индексные поисковые системы сети Интернет разрешают проводить довольно глубокий поиск информации в рамках заданной темы. Работа индексной поисковой системы проводится в три этапа.

• На первом этапе поисковая система с помощью специальных компьютерных программ обследует информационное пространство сети Интернет (главным образом WWW); находит имеющиеся, а в особенности новые и обновленные, Web-ресурсы; фиксирует ссылка на сайты и документы, которые прекратили свое существование. То есть происходит процесс сканирования информационного пространства.

• На втором этапе материал, собранный в процессе сканирования, с указанием ссылок на то, где сохраняется каждое слово, заносится в индексную базу данных. Индексная база поисковой системы - это база данных слов, полученных в результате сканирования. Далее происходит преобразования базы данных так, чтобы в ней можно было проводить ускоренный поиск.

• На третьем этапе индексная поисковая система принимает запрос от пользователя, проводит поиск в своих базах данных и выдает Web-страничку оформленных результатов поиска.

2.1. Сканирование World Wide Web

• Для собора сведений о ресурсах WWW индексной поисковой системой используются специальные программные средства, называемые поисковыми роботами, пауками, кролерами (от англ. crawler - тот, кто ползет) и т.п. Как правило, каждая индексная поисковая система имеет свою собственную программу, построенную по запатентованному алгоритму. Общий принцип действия индексных поисковых систем состоит в том, что они начинают просмотр Сети из некоторого заданного адреса Web-странички, копируют найденный документ на сервер своей системы, пересматривают его, находят в нем все гиперссылки, переходят за ними, находят новые документы, копируют их, проявляют в них гиперссылки, снова выполняют переход и т.д.

• Поисковые роботы сканируют информационное пространство круглые сутки, не пропускают ни единого документа, не пересматривая лишь те Web-узлы, вход на которые защищен паролем. Спустя некоторое время (по заданному алгоритму) роботы возвращаются к прежде просмотренным ресурсам для того, чтобы узнать, не состоялись ли некоторые изменения. Об изменениях говорят размеры файлов и даты их создания. Повторные просмотры разрешают индексным поисковым системам очищать свои базы данных от ссылок на Web-ресурсы, которые уже не существуют и ссылки на которые утратили актуальность.