Поисковые системы. Основные параметры поисковых систем. Для решения каких задач предназначены.

Поисковые системы в чистом виде (поисковые машины) ведут поиск по ключевым словам из полных текстов Web-документов, т.е. проводят максимальное детальное разыскивание информации в электронной вселенной.

В основу работы поисковых систем(машин) заложены совершенно другие технологии, принципы. Задача поисковых машин - обеспечить детальное разыскание информации. В отличии от справочников, все они функционируют в автоматизированном режиме и имеют одинаковый принцип действия.

Поисковая машина :

Агент (паук, кроулер, программа-робот), который перемещается по сети и собирает информацию.

База данных. Выявленные документы индексируются в базах данных. При этом учитывает все содержание страницы.

Поисковый механизм , который используется как интерфейс для взаимодействия с базами данных.

Основные параметры поисковой системы:

Объем индексных файлов (WEB сервер, документы)

Степень оперативности обновления БД , за счет включения сведений о новых материалов и удаления старых.

Возможности для составления запросов.

наиболее авторитетным поисковым системам всемирного масштаба относятся:

Alta Vista (http://www.altavista.com);

HotBot (http://www.hotbot.com);

Northern Light (http://www.northernlight.com);

Excite (http://www.excite.com);

InfoSeek (http://www.infoseek.com);

Lycos (http://www.lycos.com);

Из каких компонентов состоят поисковые системы.

Поисковые системы состоят из следующих основных компонентов:

Spider (паук) - браузероподобная программа, которая скачивает веб-страницы. Spider скачивает веб-страницы тем же способом, что и браузер пользователя. Отличие состоит в том, что браузер отображает информацию, содержащуюся на странице, паук же не имеет никаких визуальных компонент и работает с html-текстом страницы.

Crawler (краулер, «путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Краулер, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Indexer разбирает страницу на составные части и анализирует их. Выделяются и анализируются различные элементы страницы, такие как текст, заголовки, структурные и стилевые особенности, специальные служебные html-теги и т.д.

Database (база данных) – хранилище скачанных и обработанных страниц. Database - это хранилище всех данных, которые поисковая система скачивает и анализирует. Иногда базу данных называют индексом поисковой системы.

Search engine results engine (система выдачи результатов) – извлекает результаты поиска из базы данных. Search Engine Results Engine занимается ранжированием страниц. Она решает, какие страницы удовлетворяют запросу пользователя, и в каком порядке они должны быть отсортированы. Это происходит согласно алгоритмам ранжирования поисковой системы. Эта информация является наиболее ценной и интересной – именно с этим компонентом поисковой системы взаимодействует оптимизатор, пытаясь улучшить позиции сайта в выдаче, поэтому в дальнейшем мы рассмотрим отдельные факторы, влияющие на ранжирование результатов.

Web server (веб-сервер) – веб-сервер, который осуществляет взаимодействие между пользователем и остальными компонентами поисковой системы. Как правило, на нем присутствует html-страница с полем ввода, в котором пользователь может задать интересующий его поисковый термин. Веб-сервер также отвечает за выдачу результатов пользователю в виде html-страницы.

Детальная реализация поисковых механизмов может отличаться друг от друга (например, связка Spider+Crawler+Indexer может быть выполнена в виде единой программы, которая скачивает известные веб-страницы, анализирует их и ищет по ссылкам новые ресурсы), однако всем поисковым системам присущи описанные общие черты.