- •Лекция 19. Глобальные сети
- •19.1. История возникновения глобальной сети
- •19.2. Принципы построения и организационная структура Интернет. Структура Интернет
- •19.3. Адресация в Интернете
- •19.4. Определение маршрута прохождения информации
- •19.5. Транспортный протокол.
- •3.5. Определение времени обмена ip-пакетами (в лабораторной работе) Лекция 20. Интернет-технологии и поисковые системы
- •20.1. Понятия технологий и Интернет-технологий
- •I. Офлайновые технологии
- •Группы новостей
- •II. Онлайновые технологии
- •20.3. Понятие поисковой системы
- •20.2. Обзор основных интернет-технологий
- •20.3.1. Поисковые системы общего назначения
- •20.3.2. Специализированные поисковые системы
- •20.3.4. Основные компоненты в составе поисковых систем
20.3.4. Основные компоненты в составе поисковых систем
1. Модуль Индексирования
(Вспомогательные программы -роботы)
2. База Данных
3. Поисковый сервер
2.1. Модуль индексирования
CRAWLER (путешествующий паук) –программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача – определить куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов.
INDEXER-(робот-индексатор)-программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы.
SPIDER(паук ) –программа, предназначенная для скачивания Web-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html код каждой страницы. Использует протоколы HTTP,
2.2. База данных
Это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.
2.3. Поисковый сервер
От алгоритмов, лежащих в основе его функционирования, напрямую зависит качество и скорость поиска.