Робот (Spider, Robot или Bot) - это программа, которая посещает веб-страницы и считывает (полностью или частично) их содержимое.

    Роботы поисковых систем различаются индивидуальной схемой анализа содержимого веб-страницы.

Индекс - это хранилище данных, в котором сосредоточены копии всех посещенных роботами страниц.

    Индексы в каждой поисковой системе различаются по объему и способу организации хранимой информации. Базы данных ведущих поисковых машин хранят сведения о десятках миллионов документов, а объемы их индекса составляют сотни гигабайт. Индексы периодически обновляются и дополняются, поэтому результаты работы одной поисковой машины с одним и тем же запросом могут различаться, если поиск производился в разное время.

Программа обработки запроса - это программа, которая в соответствии с запросом пользователя «просматривает» индекс на предмет наличия нужной информации и возвращает ссылки на найденные документы.

    Множество ссылок на выходе системы распределяется программой в порядке убывания от наибольшей степени соответствия ссылки запросу к наименьшей.

Билет 20. Перемещение файлов в сети Интернет (FTP – сервис, FTP – серверы, технология поиска и загрузки файлов).

 Для того чтобы обеспечить перемещение данных между различными операционными системами, которые могут встретиться в Internet, используется протокол FTP (File Transfer Protocol), работающий независимо от применяемого оборудования. Протокол обеспечивает способ перемещения файлов между двумя компьютерами и позволяет абоненту сети Internet получить в свое распоряжение множество файлов. Пользователь получает доступ к различным файлам и программам, хранящимся на компьютерах, подключенных к сети. Вообще говоря, ftp - стандартная программа, работающая по протоколу tcp, всегда поставляющаяся с операционной системой. Ее исходное предназначение - передача файлов между разными компьютерами, работающими в сетях tcp/ip: на одном из компьютеров работает программа-сервер, на втором пользователь запускает программу-клиента, которая соединяется с сервером и передает или получает по протоколу ftp файлы.      Программа, реализующая этот протокол, позволяет установить связь с одним из множества FTP-серверов в Internet.      FTP-сервер — компьютер, на котором содержатся файлы, предназначенные для открытого доступа.      Программа FTP-клиент не только реализует протокол передачи данных, но и поддерживает набор команд, которые используются для просмотра каталога FTP-сервера, поиска файлов и управления перемещением данных.      Получить доступ к другому компьютеру для обмена файлами можно, указав пользовательское имя и пароль.       Для поиска файлов на FTP - серверах существуют поисковые сайты, специализирующиеся на поиске файлов. Например сайт http://www.filesearch.ru/.

Билет 14. Электронная почта (SMTP-сервис, технология передачи почтовых сообщений).

 Широкую популярность электронная почта завоевала потому, что имеет несколько серьезных преимуществ перед обычной почтой. Наиболее важное из них - это скорость пересылки сообщений. Если письмо по обычной почте может идти до адресата дни и недели, то письмо, посланное по электронной почте, сокращает время передачи до нескольких десятков секунд или, в худшем случае, до нескольких часов.      Другое преимущество состоит в том, что электронное письмо может содержать не только текстовое сообщение, но и вложенные файлы (программы, графику, звук и пр.).      Кроме того, электронная почта позволяет:

посылать сообщение сразу нескольким абонентам;

пересылать письма на другие адреса;

включить автоответчик - на все приходящие письма будет автоматически отсылаться ответ;

создать правила для выполнения определенных действий с однотипными сообщениями (например, удалять рекламные сообщения, приходящие от определенных адресов) и так далее.

    Для того чтобы электронное письмо дошло до адресата, оно, кроме самого сообщения, обязательно должно содержать адрес электронной почты получателя письма.      Первая часть почтового адреса (user_name — имя пользователя (логин)) имеет произвольный характер и задается самим пользователем при регистрации почтового ящика. Вторая часть (server_name — имя сервера) является доменным именем почтового сервера, на котором пользователь зарегистрировал свой почтовый ящик. Адрес электронной почты записывается только латинскими буквами и не должен содержать пробелов.      Любой пользователь Internet может зарегистрировать почтовый ящик на одном из серверов Internet. В настоящее время достаточно большое количество серверов Internet предоставляют возможность бесплатно зарегистрировать почтовый ящик.      Для работы с электронной почтой необходимы специальные почтовые программы. Почтовые программы входят в состав широко распространенных коммуникационных пакетов: Outlook Express входит в Microsoft Internet Explorer, Netscape Messenger — в Netscape Communicator.      С помощью почтовой программы создается почтовое сообщение на локальном компьютере. На этом этапе кроме написания текста сообщения необходимо указать адрес получателя сообщения, тему сообщения и вложить в сообщение при необходимости файлы.      Процесс передачи сообщения начинается с подключения к Internet и доставки сообщения в свой почтовый ящик на удаленном почтовом сервере. Почтовый сервер сразу же отправит это сообщение через систему почтовых серверов Internet на почтовый сервер получателя в его почтовый ящик. Адресат для получения письма должен соединиться с Internet и доставить почту из своего почтового ящика на удаленном почтовом сервере на свой локальный компьютер.      Для передачи сообщений используется специальный протокол - SMTP (англ. Simple Mail Transfer Protocol — простой протокол передачи почты). SMTP используется для отправки почты от пользователей к серверам и между серверами для дальнейшей пересылки к получателю. Для приёма почты почтовый клиент должен использовать протоколы POP3 или IMAP. Чтобы доставить сообщение до адресата, необходимо переслать его почтовому серверу домена, в котором находится адресат. Широкое распространение SMTP получил в начале 1980-х годов. До него использовался протокол UUCP, который требовал от отправителя знания полного маршрута до получателя и явного указания этого маршрута в адресе получателя, либо наличия прямого коммутируемого или постоянного соединения между компьютерами отправителя и получателя.