3.3. Метапоисковая машина

Метапоисковая система. Обратите внимание на то, что различные поисковые системы описывают разное количество источников информации в Интернет. Поэтому нельзя ограничиваться поиском только в одной из указанных поисковых системах. Теперь познакомимся с инструментами поиска, которые не формируют собственный индекс, но умеют использовать возможности других поисковых систем. Это метапоисковые системы (поисковые службы) - системы, способные послать запросы пользователя одновременно нескольким поисковым серверам, затем объединить полученные результаты и представить их пользователю в виде документа со ссылками.

Адреса известных метапоисковых систем:

MetaCrawler - http://www.metacrawler.com/ SavvySearch - http://www.savvysearch.com/

3.4. Поиск источников информации

Обсудим проблему поиска такого источника информации, как статьи в группах новостей. Инструментами поиска в данном случае могут являться рассмотренные поисковые машины WWW, которые индексируют не только пространство WWW, но и статьи в телеконференциях и имеют специальный режим поиска именно в этом ресурсе. Поиск в группах новостей поддерживает, например, поисковый сервер Altavistа. Следует отметить, что поисковые системы WWW весьма оперативно индексируют группы новостей и содержат информацию о статьях, реально существующих в сети. Для поиска в архивах новостей существую специализированные системы, самой известной из которых является система Deja (www.deja.com). Эта система позволяет проводить как поиск отдельных статей, содержащих введенный термин, так и поиск определенных групп новостей, посвященных обсуждению заданной темы. Можно зарегистрироваться в Deja и подписаться на определенные группы новостей.

Теперь рассмотрим инструменты, позволяющие проводить поиск файлов. Многие поисковые системы WWW стали оказывать услугу поиска мультимедийных файлов (Altavista, Aport). Для этого вовсе нет необходимости знать специальные операторы, а достаточно перейти с домашней страницы по ссылкам Картинки (Images), MP3/Audio или Video к специальному режиму поиска. Поиск проводится по возможному имени файла или по тексту в комментарии к ссылке на мультимедийный файл.

Что касается поиска программного обеспечения, во всемирной паутине существуют поисковые Web-серверы с коллекциями условно-бесплатного ПО, некоторые из них специализируются на поиск программного обеспечения для Интернета или для конкретной операционной системы. Эти системы в конечном итоге приведут вас к конкретному серверу, с которого и можно скачать искомый программный продукт. Следует упомянуть серверы Archie, также оказывающие услугу поиска файлов на FTP-серверах, однако пользоваться Web-серверами гораздо удобнее.

Рассмотрим поисковые инструменты для поиска адресной информации. Введем понятие Белого(White) и Желтого (Yellow) поиска.

White-поиск - поиск адресной информации по заранее известному собственному имени адресата (имя человека или организации)

Yellow-поиск - поиск собственного имени по дополнительным признакам (по роду деятельности, по географическому признаку), а затем поиск его адресной информации.

Обычно Yellow Pages системы фактически сразу включают в себя и White Pages - у найденного адресата сразу видны его телефон и почтовый адрес. Кроме того, некоторые Yellow Pages позволяют искать просто в алфавитном списке своих абонентов (white-поиск). С другой стороны, White pages также содержат элементы yellow-поиска - кроме задания собственного имени они обычно позволяют указать название города, штата и другие, сужающие поиск, данные (что необходимо в случае многих однофамильцев). Возможно, именно поэтому многие on-line телефонные справочники, выполняющие, фактически white-поиск, называют себя Yellow pages.

Здесь приведены адреса Web-систем для поиска адресной информации для людей и организаций.

Поиск людей:

• Поиск людей на Yahoo (http://people.yahoo.com/).

• Система WhoWhere (http://www.whowhere.com/).

• Система Bigfoot (http://www.bigfoot.com/).

Поиск организаций: раздел Желтые страницы (Yellow pages) на поисковых системах специализированные сервера http://www.yellowpages.com/ - для поиска в США и других странах.

Технологии работы с WWW.

В течение последних лет предпринималось немало попыток разработать концепцию универсальной информационной базы данных, в которой можно было бы не только получать информацию из любой точки земного шара, но и иметь удобный способ связи информационных сегментов друг с другом, так чтобы наиболее важные данные быстро могли быть найдены. В 60-е годы исследования в этой области породили понятие «информационной Вселенной» (docuverse = documentation + universe), которая преобразила бы всю информационную деятельность, в частности в области образования. Но только в настоящее время появилась технология, воплотившая эту идею и предоставляющая возможности ее реализации в масштабах планеты.

WWW — это аббревиатура от «World Wide Web» («Всемирная паутина»). Официальное определение World Wide Web звучит как мировая виртуальная файловая система — «широкомасштабная гипермедиа-среда, ориентированная на предоставление универсального доступа к документам».

Проект WWW возник в начале 1989 г. в Европейской Лаборатории физики элементарных частиц (European Laboratory for Particle Physics (CERN) in Geneva, Switzerland). Основное назначение проекта — предоставить пользователям не профессионалам «on-line» доступ к информационным ресурсам. Результатом проекта World Wide Web (WWW, W3) является предоставление пользователям сетевых компьютеров достаточно простого доступа к самой разнообразной информации.

Используя популярный программный интерфейс, проект WWW изменил процесс просмотра и создания информации. Идея заключается в том, что по всему миру хаотично разбросаны тысячи информационных серверов и любую машину, подключенную к Internet в режиме on-line, можно преобразовать в сервер и начинить его информацией. С любого компьютера, подключенного к Internet, можно свободно установить сетевое соединение с таким сервером и получать от него информацию.

Первый такой сервер был организован в CERN'e, там же с целью развития и поддержки стандартов WWW-технологий создан The World Wide Web Consortium (или W3C). WWW-сервер The W3C's Web site является интегрирующим сервером по поддержке WEB-технологий Internet.

Позднее к проекту подключились и многие другие организации. Большой вклад в развитие WWW-технологий внес Национальный центр суперкомпьютерных приложений (National Centre for Super-computing Applications —NCSA).

Информационный WWW-сервер использует гипертекстовую технологию. Для записи документов в гипертексте используется специальный, но очень простой язык HTML (Hypertext Markup Language), который позволяет управлять шрифтами, отступами, вставлять цветные иллюстрации, поддерживает вывод звука и анимации. В стандарт языка также входит поддержка математических формул.

Представление о гипертексте. Внешне гипертекст отличается от обычного текста тем, что часть слов или целые строки в нем, будучи выделены особым шрифтом или цветом, оказываются чувствительными к появлению на них указателя манипулятора «мышь». При попадании на такую область текста указатель (часто стрелочка) изменяет первоначальный вид, становясь, например, ладошкой. Щелчок «мыши» в таком положении приводит к инициированию какого-либо события, чаще всего к загрузке в программу просмотра нового документа, привязанного так называемой гипертекстовой ссылкой к выделенной строке текста. В результате у пользователя появляется возможность самому выбирать порядок просмотра тех или иных страниц, двигаясь по перемежающимся между собой нитям — паутинкам ссылок. Если при этом компьютер подключен к глобальной сети Интернет, то в сценарий просмотра могут входить ресурсы всего мира, доступ к которым происходит по протоколу работы с гипертекстом, или HTTP (Hyper Text Transfer Protocol). После сказанного становится понятным представление об этих ресурсах как о Всемирной паутине.

Поскольку нетривиальный характер взаимодействия клиента и сервера по протоколу HTTP с удаленными ресурсами Сети скрыт от конечного пользователя за интерфейсом дружественной программы-просмотра гипертекстовых страниц (броузером, от англ. browse -просматривать), начало работы в Web не представляет больших проблем.

Итак, гипертекст не может корректно отображаться обычным текстовым редактором, хотя последний вполне пригоден для его приготовления. Специально разработанный язык гипертекстовой разметки HTML позволяет превращать нужные элементы документа, включая не только текстовые поля, но и графику, в области «мышечувствительности», или в гипертекстовые ссылки. Существует ряд серьезных причин, по которым необходимо остановиться на этом языке ниже чуть более подробно.

Для удобства ввода информации предусмотрены специальные формы, меню. Программы просмотра позволяют получать доступ не только к WWW-серверам, но и к другим службам Internet. С их помощью можно путешествовать по Gopher-серверам, искать информацию в WAlS-базах, получать файлы с файловых серверов по протоколу FTP. Поддерживается протокол обмена сетевыми новостями Usenet NNTP.

Вся польза WWW состоит в создании гипертекстовых документов, и если вас заинтересовал какой-либо пункт в таком документе, то достаточно «ткнуть» в него курсором для получения нужной информации. Также в одном документе возможно делать ссылки на другие, написанные другими авторами или даже расположенные на другом сервере. Одно из главных преимуществ WWW над другими средствами поиска и передачи информации — «многосредность». В WWW можно увидеть на одной странице одновременно текст и изображение, звук и анимацию.

WWW — это в настоящее время самый популярный и самый интересный сервис Интернет, самое популярное и удобное средство работы с информацией. Самое распространенное имя для компьютера в Интернет сегодня — www, больше половины потока данных Интернет приходится на долю WWW. Количество серверов WWW сегодня нельзя оценить сколько-либо точно, но по некоторым оценкам их более 300 тысяч. Скорость роста WWW даже выше, чем у самой сети Интернет.

WWW работает по принципу клиент-сервер, точнее, клиент-серверы: существует множество серверов, которые по запросу клиента возвращают ему гипермедийный документ — документ, состояли из частей с разнообразным представлением информации, в котором каждый элемент может являться ссылкой на другой документ или его часть. Ссылки эти в документах WWW организованы таким образом, что каждый информационный ресурс в глобальной сети Интернет однозначно адресуется, и документ, который вы читаете в данный момент, способен ссылаться как на другие документы на том же сервере, так и на документы (и вообще на ресурсы Интернет) на других компьютерах Интернет. Причем пользователь не замечает этого и работает со всем информационным пространством Интернет как с единым целым. Ссылки WWW указывают не только на документы, специфичные для самой WWW, но и на прочие сервисы и информационные ресурсы Интернет. Более того, большинство программ-клиентов WWW (browsers, навигаторы) не просто понимают такие ссылки, но и являются программами-клиентами соответствующих сервисов: ftp, gopher, сетевых новостей Usenet, электронной почты и т.д. Таким образом, программные средства WWW являются универсальными для различных сервисов Интернет, а сама информационная система WWW играет интегрирующую роль.

Тип соединения с Internet. Подключение к Internet производится посредством сетевого адаптера или другого сетевого устройства, например модема или платы ISDN (Integrated Services Digital Network, Цифровая сеть с интеграцией сервиса). Скорость передачи информации в Internet выражается в битах в секунду.

Скорость передачи узла Internet определяет, насколько быстро проходят через него данные и сколько запросов такой узел сможет обслужить одновременно. Если число одновременных запросов превышает допустимое, то возможно возникновение задержек и срывов.

Скорости передачи арендуемых линий находятся в пределах от 56 000 bps (Frame Relay) до 45 000 000 bps (соединение ТЗ). Коммутируемая линия ISDN обеспечивает скорость вплоть до 128 000 bps.

Распространенные типы соединений в Internet представлены в табл.

Таблица

Тип соединения	Максимальная скорость передачи	Приблизительное число пользователей
Выделенный PPP/SLIP	Скорость модема	2-3
56К (Frame Relay)	56000 bps	10-20
ISDN (использует РРР)	128000bps	10-50
T1	1540000bps	100-500
Дробная T1	В зависимости от необходимости	В зависимости от необходимости
ТЗ	45000000	5000 и выше

Мало загруженный сервер может использовать соединение 56К или ISDN. На сервер со средней загрузкой лучше установить линию Т1 или ее часть. Крупные организации, которые предполагают высокую загрузку своего узла Internet, могут нуждаться в дробной или множественной линии ТЗ, чтобы обслуживать тысячи пользователей.

Соединение с Internet при помощи модема обычно используется для индивидуальных клиентов и не рекомендуется для серверов.

Такое соединение не в состоянии обслуживать более трех пользователей одновременно. Модемные соединения часто называют «медленными каналами», так как скорость передачи через них обычно составляет от 9600 до 28800 bps. Это значительно меньше того, в чем нуждается, к примеру, сервер World Wide Web.

Аппаратное обеспечение. Существенное влияние на производительность сервера оказывают объем его оперативной памяти (RAM) и тип его процессора. Число пользователей, которых сервер может обслуживать одновременно, меняется в зависимости от типа открываемых ими сеансов и других факторов. Сервер может обслуживать в большем количестве тех пользователей, чьи сеансы меньше загружают его процессор. К числу таких сеансов относятся сеансы электронной почты.

В табл. 7.7.2 приведены минимальные и рекомендуемые требования, которым должно удовлетворять аппаратное обеспечение для работы Microsoft Windows NT Server версии 4.0 и сервера IIS.

Таблица 7.7.2

Требование	Минимум	Рекомендуется
Процессор	50MHz	90 MHz Pentium
RAM	16MB	32-64 MB
Свободное место на винчестере	50МВ	200MB
Монитор	VGA	SVGA
CD-ROM	ЗХ	6X

Количество оперативной памяти, необходимое для сервера, зависит от ряда факторов, включающих:

• число пользователей, обслуживаемых одновременно;

• соотношение между числом пользователей HTTP (требуют много памяти) и пользователей Gopher и FTP (требуют меньше памяти);

• объем памяти, используемой под кэш;

• размер файла подкачки (swap file);

• объем свободного дискового пространства;

• объем видеопамяти;

• число запущенных сервисов;

• тип процессора;

• поиск в базах данных SQL.

Выбор ISP. Для подключения к Интернету необходим ISP (Internet Service Provider — Поставщик услуг Интернета). ISP предоставляет клиентам доступ к Интернету по телефонным линиям. Кроме того, ISP предоставляет услуги, такие, как аренда пространства на сервере и создание Web-страниц.

Очень важна территориальная близость ISP: независимо от типа используемого соединения цена растет с увеличением расстояния. Также имеют значение надежность обслуживания, набор предлагаемых сервисов, наличие у ISP лишних каналов, скорость связи, цена, доступность обслуживающего персонала и сервисной службы.

Обращаясь к ISP, необходимо указать сервисы и потребность в полосе пропускания. После заключения контракта ISP сообщит ваш адрес IP, маску подсети, имена серверов DNS, проинструктирует о подключении его к сети и порекомендует любое необходимое дополнительное оборудование.

При выборе ISP основные критерии — местоположение, цена, надежность и набор предоставляемых сервисов.

Регистрация имени домена. Домены в Интернете различаются по уровням иерархии, например в iae.lt iae —домен второго уровня, а lt — верхнего. Создавая домен, необходимо зарегистрировать его в руководящей организации, тогда имя домена будет включено в имя ее домена. Домены верхнего уровня классифицируют организации по типам (используется в США): gov (government — государственные), edu (educational — образовательные), org (organization — организации), net (главные центры поддержки сети), mil (военные группы), int (международные), com (commercial — коммерческие), <country code> (любая страна, географическая единица).

Чтобы присоединиться ко всем, кроме последнего, необходимо иметь аргументы, соответствующие предъявляемым строгим требованиям. Включение в домен com гораздо проще, однако все-таки нужно правильно определить, к какому из доменов верхнего уровня относится организация.

Имя домена должно иметь смысл, легко запоминаться и вводиться с клавиатуры, а также не использоваться другой организацией на Интернете.

Выбранное подходящее имя регистрируется. Обычно для этого из области Registration Web-страницы InterNIC получают текстовый бланк и заполняют его в любом редакторе или текстовом процессоре или заполняют форму WWW, используя программу просмотра Web.

Необходимо сообщить InterNIC о себе некоторые данные, первых, кто будет контактировать с ней по административным, техническим или финансовым вопросам, касающимся домена. Во-вторых, имена и IP-адреса серверов DNS, поддерживающих домен.

Заполненная форма отсылается электронной почтой в InterNIC. Через некоторое время поступают два ответа: первый — подтверждение получения запроса, второй — разрешение на использование имени домена.

Файловая система. Windows NT Server поддерживает две файловые системы для жестких дисков: NTFS (Windows NT File System) и FAT (File Allocation Table). Файловая система определяет формат жесткого диска и способ его взаимодействия с операционной системой.

PAT (таблица размещения файлов) — файловая система, совместимость с которой сохранили все файловые системы ПК. FAT обеспечивает доступ к файлам из MS DOS и OS/2. Однако при использовании FAT вы не сможете пользоваться возможностями Windows NT в сфере безопасности данных. Кроме того, FAT не может работать с файлами, превышающими определенные размеры, и не обладает мощностью NTFS. Например, FAT не позволяет автоматически восстанавливать поврежденные в результате сбоя данные.

NTFS (файловая система Windows NT) — позволяет использовать все возможности, которыми обладает Windows NT. Возможно даже указать для каждого пользователя определенные права доступа к каждому файлу или каталогу. Кроме того, эта файловая система ведет журнал операций, так что в случае внезапного сбоя питания (или другой аварийной ситуации) можно без потерь восстановить данные, находящиеся на диске. В отличие от FAT, NTFS позволяет использовать длинные имена файлов и поддерживает расширенный перечень файловых атрибутов. NTFS автоматически генерирует имена файлов, корректные для MS DOS, что обеспечивает совместимость с DOS-приложениями. Эта система позволяет приложениям, написанным для других операционных систем (например, MS DOS), получать доступ к файлам NTFS при работе под управлением Windows NT.

NTFS разработана специально для максимального использования возможностей современных ПК, в которых может находиться несколько мощных процессоров и несколько жестких дисков большого объема.

Организация информации. Документы, предназначенные для экрана компьютера, могут содержать большое количество различных средств отображения информации, включая текст, числа, иллюстрации или фотографии, мультипликацию и цифровой аудиовизуальный материал, поэтому хорошо спроектированный интерфейс — основа проектирования WWW-документов и систем.

Разработка WWW-страниц требует, по крайней мере, базового представления о принципах проектирования интерфейса пользователя. Вопреки новизне компьютерных средств отображения информации и концептуальным трудностям объединения большого количества форм отображения информации в связное представление, существуют пока еще не слишком широко распространенные стандарты организации электронных документов.

Большинство современных концепций относительно структурирования информации относятся к организации книг, периодических изданий и индексации библиотек и систем каталогов, которые росли вокруг печатной информации. Разработка WWW-документов и гипертекстовых документов также должна подвергнуться подобному развитию и стандартизации, чтобы сделаться столь же легко доступной и в электронной форме.

Самая лучшая стратегия при разработке гипертекстового документа — последовательно применять хотя бы некоторые основные принципы построения документа к каждой создаваемой WWW-странице.

Хотя компьютерные гипертекстовые документы предоставляют множество новых возможностей проектировщикам информационных систем, основные принципы проектирования, создания, редактирования и организации электронных информационных систем почти не отличаются от текущей практики создания печатных средств информации.

Диапазон способов организации узлов Web весьма широк: от узлов, имеющих строгую линейную структуру, до узлов, у которых вообще нет четкой структуры. Обычно страницы располагаются в иерархическом или линейном порядке, а также в виде паутины.

Иерархическая организация. Узлы Web, которые следуют иерархической, или древовидной, организации, имеют единственную точку входа в узел, остальные страницы располагаются на исходящих из нее ответвлениях. Данный подход удобен, если информация легко разбивается на категории и подкатегории. При иерархической организации узла Web (рис.7.7.1) к странице самого нижнего уровня ведет один и только один путь.

Такая строгая структура узла может вызвать проблемы у пользователей. Например, если пользователь прошел на несколько уровней вниз по одному из путей, а потом решил попасть в другую часть дерева, то ему придется возвращаться обратно.

Рис. 7.7.1. Иерархическая организация WWW

Линейная организация. Если необходимо, чтобы пользователи читали содержимое узла как книгу или журнал, или чтобы они прошли по заданному пути от начала и до конца узла, выбирается линейная организация (рис. 7.7.2).

Рис. 7.7.2. Линейная организация WWW.

Какая-то страница может иметь несколько связей с примечаниями и дополнениями, но для продвижения дальше пользователь должен вернуться на нее снова. Продвижение по документу осуществляется кнопкой Next, а возврат к началу узла — кнопкой Prev.

Для большого узла Web линейная организация подходит не очень. Читателям, ищущим конкретную информацию, может не понравиться необходимость пройти через множество страниц, прежде чем они попадут на нужную.

Организация в виде паутины. Организация информации в виде паутины, вероятно, наилучшим образом подходит для большинства случаев. В этой структуре (рис. 7.7.3) страницы связаны друг с другом общим контекстом. К одной странице может идти несколько связей, и у каждого документа есть, по крайней мере, два. Связи иногда образуют круг.

Рис 7.7.3. Организация WWW в виде паутины

Для просмотра Web эта организация узла наиболее удобна. Быстрый проход по узлу и большая свобода перемещения. Недостаток такой структуры в том, что пользователь может что-нибудь пропустить, не пройдя по всем связям.