Основные сведения по internet

Internet - это всемирная корпоративно управляемая совокупность ком­пьютерных сетей, обменивающихся информацией (~40 тыс. сетей, более 100 млн. пользователей), и связанных телефонными, оптоволоконными и др. ка­белями, а также радиоканалами, в том числе спутниковыми.

О чень упрощенно структуру Internet можно представить следующей схемой:

ЛВС

(клиенты)

Здесь:

ХК - хост-компьютер (сервер) - мощная ЭВМ, обеспечивающая выпол­нение запросов клиентов;

Р - роутер (маршрутизатор) – ЭВМ, управляющая адресацией информа­ции;

ПР - провайдер - сервисная фирма, обеспечивающая доступ в Internet (обычно платный) и имеющая мощный компьютер или комплекс.

Работа в Internet может выполняться в нескольких режимах, поддержи­ваемых соответствующими протоколами обмена данных. Это следующие ре­жимы:

1. Терминальный режим - программы клиентов выполняются на узло­вом сервере сети. Протокол ТСР/IP.

2. Интерактивный (dial - upIP). SLIP/PPP.

3. Пакетный. Протокол UUPC. Наиболее часто используется протокол TCP/IP, где TCP - обеспечивает передачу сообщений фрагментами, сборку и проверку переданного документа; IP - обеспечивает доставку информации конкретному адресату, т.е. каж­дый хост-компьютер в сети имеет свой уникальный IP - адрес в виде цифровой последо­вательности - ХХХ.ХХХ.ХХХ.ХХХ.

Пользователь сети (организация или частное лицо) в Internet идентифицируется именем пользователя и именем домена, разделенных знаком @.

ХХХХХХ.ХХХ@ХХХХХ.ХХХ

Internet предоставляет следующие возможности:

1. Поиск и просмотр информационных документов (WWW, Archi, Copher).

2. Доступ к БД (WAIS).

3. Связь и работу с другими ПК (Telnet).

4. Группы новостей, электронные бюллетени и т.д.

5. Средства, в которых пользователи могут направлять свои сообщения и знакомиться с имеющимися.

6. Электронная почта (Internet Mail).

7. Почтовые списки - средства рассылки информации п.4 по ЭП

8. Разговор текстом на экране в реальном времени (программа IRC -Internet Relay Chat).

9. Передача файлов, в том числе программных (система FTP). В основном возможности Internet реализуются при наличии ОС: MS Windows, UNIX, Linux, Solaris.

Большинство информационных ресурсов находятся на серверах узлов Internet, имеющих универсальные URL -адреса, которые в зависимости от системы размещения начинаются с записи:

http:// - для Web-серверов, и ftp://, news:// для серверов FTP и групп новостей соответственно.

Для поиска URL - адресов можно пользоваться справочником “Желтые страницы Internet”. Его можно найти в Internet по адресу: http://www.jellow.com.

Наиболее эффективной службой для поиска информации в Internet явля­ется World Wide Web (всемирная паутина) или просто Web, использующая гипертекстовое представление информации (протокол HTTP).

Гипертекст - это представление документа в виде узлов и связей. Если в узлах помимо текста, таблиц, графики имеются аудио и видео файлы, то Web превращается в мультимедийную систему.

Указанная структура документа с помощью гиперссылок позволяет бо­лее эффективно выполнять поиск необходимой информации.

В Web используются понятия:

Web- страница - отдельный файл;

Web-сайт - группа документов, объединенных по смыслу;

HTML - язык разметки гипертекста;

VRML - язык моделирования трехмерной и подвижной информации;

Web-броузер - программа поиска и просмотра HTML-документов и других информационных ресурсов Jnternet. Наиболее распространены: MS Internet Explorer, Netscape Navigator, Mozilla Firefox.

Кроме указанного, следует назвать JAVA – объектно-ориентированный язык для создания распределенных прикладных Web-систем. Позволяет выполнять программы непосредственно на ПК клиента, CGI-стандарт, позволяющий Web-серверам запускать внешние прикладные программы.

В среде Web для повышения эффективности поиска целесообразно, кро­ме броузеров, применять поисковые серверы и каталоги Web, использующие ключевые слова. Таких средств более 500. В России это:

http://www.rambler.ru, http://www.jandex.ru, http://www.aport.ru.

Существуют также метапоисковые программы, которые посылают за­просы сразу на несколько серверов. Например, Sawysearch.

Информационно-поисковая система - ИПС

Определение

Система, предназначенная для поиска информации в базе данных.

Комментарий

Создание и использование информационно-поисковых систем (ИПС) началось в конце 1950-х - начале 1960-х годов. ИПС опирается на базу данных, в которой осуществляет поиск нужных документов по заявкам пользователей.

Частным случаем информационно-поисковой системы является информационно-справочная система, которая в ответ на запросы выдает сведения, в явной форме отсутствующие в базе данных.

По характеру выдаваемой информации ИПС делятся на три типа:

документальные, фактографические, и геоинформационные.

Документальная система по заданию пользователя выдает необходимые ему документы (книги, статьи, законы, патенты, отчеты и т.д.). В задании могут указываться сведения об искомых документах: автор, наименование, время издания, издательство и т.п.

Поиск информации осуществляется на естественном (русском, английском, азербайджанском и др.) языке. Для этих целей осуществляется индексирование документов.

Процесс индексирования заключается в нахождении набора ключевых слов или кодов, служащих для идентификации документов и используемых для их поиска.

Существует несколько методов индексирования.

Например, статистический метод заключается в том, что в начале из текста документа отбрасываются все незначащие слова, например предлоги, союзы и т.п. Затем подсчитывается частота употребления каждого оставшегося слова и учитывается отклонение частоты слов в документе от ожидаемой. В результате создается поисковый образ документа (ПОД). Точно так же готовится поисковый образ запроса (ПОЗ), и от качества ПОД и ПОЗ зависит полнота поиска, т.е. процент найденных документов, содержащих искомые сведения.

Более сложной является фактографическая информационно-поисковая система. Ее задача - поиск в документах интересующих пользователя сведений (фактов). Например, типы, характеристики и технология изготовления сталей.

В геоинформационных данные организованы в виде отдельных информационных объектов привязанных к общей электронной топографической основе. Геоинформационные системы применяются для информационного обеспечения в тех предметных областях, в структуре информационных объектов и процессов которых имеется географический компонент.

Особенности поисковых систем.

В большинстве случаев информационная потребность возникает после изучения какой-либо новой информации, полученной пользователем. Часто возникает ситуация, когда пользователь уже обладает некоторым массивом документов по искомой тематике. Предлагается использовать эти документы для автоматизированного составления поискового запроса с помощью специализированной программы.

Поисковый процесс представлен четырьмя стадиями:

• формулировка (происходит до начала поиска);

• действие (начинающийся поиск);

• обзор результатов (результат, который пользователь видит после поиска);

• и усовершенствование (после обзора результатов и перед возвращением к поиску с иной формулировкой той же потребности).

Более удобная нелинейная схема поиска информации состоит из следующих этапов:

1. Фиксация информационной потребности на естественном языке;

2. Выбор поисковых сервисов сети и формализация записи информационной потребности на конкретных информационно-поисковых языках (ИПЯ);

3. Выполнение созданных запросов (поиск);

4. Сохранение релевантных документов для последующего изучения;

5. Извлечение из релевантных документов ссылок для расширения

запроса;

6. Повторное выполнение запроса;

7. Изучение всего массива сохраненных документов;

8. Если информационная потребность не полностью удовлетворена,

то возврат к первому этапу.

Система должна осуществлять индексацию всех документов пользователя. В процессе индексации все слова, содержащиеся в документах, разбиваются по следующим семантическим классам:

стоп-слова;

наиболее частотные слова бытового (разговорного) языка;

общекультурная терминология;

общенаучная терминология;

известные системе термины предметной области;

неизвестные слова.

Разбиение осуществляется на основе соответствующих словарей, которые должны быть составной частью системы. К неизвестным словам будут отнесены в первую очередь многие специальные слова предметной области. Туда же попадут новообразованные термины и слова, содержащие ошибки.

На основе индекса осуществляется построение векторного представления документов, после чего система производит иерархическую кластеризацию множества документов, в результате чего получается разбиение этого множества на тематические группы. В ходе диалога с пользователем происходит выбор одного или нескольких наиболее релевантных кластеров документов и задание характеристик поискового процесса.

Поисковый запрос следует строить на основе вектора центроида выбранного кластера. Оптимальный размер запроса составляет от 8-12 до 25-30 терминов. Последняя подготовительная операция заключается в записи запроса на информационно-поисковом языке.

Основная задача поисковой системы - минимизировать время, затрачиваемое пользователем на поиск релевантной запросу информации. Релевантность - одно из самых субъективных и запутанных понятий в науке информационного поиска. Наиболее часто говорят о релевантности с точки зрения пользователя, и тогда ``релевантная запросу информация'' и ``нужная пользователю информация'' - одно и то же. Именно о такой релевантности мы говорим в данном разделе. Вопрос заключается в том, какую информацию пользователь посчитает нужной? В некоторых обстоятельствах релевантную информацию можно определить как всю информацию из базы, имеющую отношение к запросу. Так, например, если пользователю нужно узнать все о конкретной фирме, то он заинтересован в нахождении всех документов, в которых упоминается об этой фирме. Это так называемый широкий запрос.

В других обстоятельствах релевантная информация - это только та информация, которая достаточна для выполнения определенной задачи пользователя, например, поиска ответа на конкретный вопрос. Это узкий запрос. Если в последнем случае в результатах поиска будет много избыточных данных, т.е. данных, которые имеют отношение к запросу, но не нужны для выполнения данной задачи, то выборка нужной/релевантной информации займет у пользователя дополнительное время.

Таким образом, традиционно к поисковой системе применяют две основные характеристики: точность и полнота, а точнее, их зависимость. Каждый раз, когда пользователь задает системе запрос, тем самым инициализируя поиск, все документы в коллекции поисковой системы делятся на четыре части. Точность определяет один аспект поиска, а именно, насколько хорошо поисковая система способна минимизировать время, затрачиваемое пользователем на поиск релевантной данному запросу информации. В то время как полнота определяет другой аспект - насколько хорошо система способна найти релевантную данному запросу информацию. Можно подобрать оптимальный запрос(ы), когда каждый найденный документ будет релевантным, и каждый релевантный документ будет найден??? Как будет видно далее, это невозможно.