2.1.1. Сбор адресов страниц в Интернете.

Чтобы составить индекс по страницам, сначала нужно решить, какие страницы нам нужны. Таким образом, нужно сначала составить список страниц - набор адресов тех страниц, по которым будет составляться индекс. Поскольку сайты и их страницы беспорядочно разбросаны в Интернете, поисковой машине нужно с чего-то начать. Обычно разработчики поисковой машины «загружают» в нее какой-то начальный список адресов страниц сайтов (взяв его, например, из какого-нибудь каталога). Затем поисковая машина (ее составная часть - так называемый поисковый робот) собирает все гипертекстовые ссылки с каждой из заданных страниц на другие страницы и добавляет все найденные в ссылках адреса к своему первоначальному набору адресов. Таким образом, первоначальный набор адресов страниц быстро увеличивается за счет ссылок па другие сайты и страницы и постепенно становится очень большим. Сейчас поисковики обходят и индексируют миллиарды веб-страниц.

Нужно обратить внимание на тот очевидный факт, что малоизвестные страницы, на которые никто не ссылается, имеют очень мало шансов быть автоматически включенным в индекс поисковой машины. Возможно, поисковый робот и доберется до них когда-нибудь, но далеко не в первую очередь. А страница, на которую нет вообще ни одной ссылки, "своим ходом" не попадет в индекс поисковика никогда, если не предпринимать специальных усилий. Конечно, владелец сайта может сам добавить новый адрес страницы в индекс поисковика вручную, используя средства регистрации новых веб-страниц, которые есть во всех поисковых машинах.

2.1.2. Выкачивание страниц.

Чтобы поработать с текстом страницы и составить из него индекс, поисковик должен получить этот текст. Для этого поисковик должен выкачать этот текст, т.е. запросить у сайта заданную страницу. Выкачивает страницы снециальный модуль поисковой машины, называемый поисковым "пауком" (по-английски crawler), или поисковым роботом. Поисковый робот обходит заданный на предыдущем этапе список страниц, выкачивает гигантский объем сырого текстового материала, хранит его на дисках своих компьютеров и передает на индексирование индексному роботу

	Адреса страниц	http://montazhnik.newmail.ru/product /product2.html		Размер: 45245 байт дата последнего обращения: 2002-08-29-10:00:00 дата изменения: 2002-08-29-10:00:00 кодировка: Windows-1251

Здесь ID - это идентификационный номер документа 2.1.3. Составление индекса, или индексирование

Чтобы составить индекс, индексный робот поисковой машины должен выбрать все слова из всех выкачанных текстов и расположить их в алфавитном порядке, вместе с номерами страниц и разной служебной информацией о каждой странице. Для этого индексный робот перебирает все выкачанные страницы, нумерует их (чтобы потом находить их), удаляет из текста страниц всякий ненужный, нетекстовый "мусор" (например, разметку языка HTML), затем извлекает из текста слова и помещает их в индекс. При этом слова снабжаются информацией о страницах, с которых они были взяты.

Все описанные предыдущие шаги незаметны для пользователя поисковой машины, они выполняются в поисковой машине. Когда пользователь вводит какое-нибудь слово в строку запроса поисковика, поисковая машина обращается к индексу, находит запись о заданном слове, извлекает все номера страниц, относящиеся к заданному слову, и показывает пользователю результаты поиска, т.е. список страниц. В списке результатов обычно отображается заголовок страницы (так называемый титул), дата создания страницы, ее адрес, цитата из текста страницы с вьщеленными искомыми словами.