Чариков ЦИФРОВЫЕ ТЕХНОЛОГИИ ОБРАБОТКИ ИНФОРМАЦИИ

шина), «кольцо» и «дерево».

На высшей ступени региональные сети соединяются с одной из так называемых опорных сетей Интернет (в действительности региональные сети могут быть связаны между собой без выхода на опорную сеть). В качестве соединительных линий в Интернете используются проводные линии связи, оптоволоконные, радиосвязь и спутниковая связь и др.

Очень упрощенно структуру Интернета можно представить следующей схемой:

Рис. 1.1 – Схема организации Интернета

Здесь:

ХК: хост-компьютер (сервер) – мощная ЭВМ, обеспечивающая выполнение запросов клиентов;

Р: роутер (маршрутизатор) – ЭВМ, управляющая адресацией информации; ПР: провайдер – сервисная фирма, обеспечивающая доступ в Интернет (обычно

платный) и имеющая мощный компьютер или комплекс.

Работа в Интернете может выполняться в нескольких режимах, поддерживаемых соответствующими протоколами обмена данных. Это следующие режимы:

1)Терминальный режим – программы клиентов выполняются на узловом сервере сети. Протокол ТСР/IP.

2)Интерактивный (dialup-IP) SLIP/PPP.

3)Пакетный. протокол UUPC.

Наиболее часто используется протокол TCP/IP, где TCP – обеспечивает передачу сообщений фрагментами, сборку и проверку переданного документа; IP – обеспечивает доставку информации конкретному адресату, т. е. каждый ХК в сети имеет свой уникальный IP-адрес в виде записи, состоящей из четырех десятичных чисел (от 0 до 255), разделенных точками (в случае версии протокола IPv4), например 192.168.1.254, или (в случае IPv6) в виде записи, состоящей из восьми групп, разделенных двоеточием, состоящих из четырех шестнадцатеричных цифр, например fe80:0:0:0:200:f8ff:fe21:67cf.

Пользователь сети (организация или частное лицо) в Интернете идентифицируется именем пользователя и именем домена, разделенных знаком @:

Пример:

ХХХХХХ.ХХХ@ХХХХХ.ХХХ

Интернет предоставляет следующие возможности:

1)Поиск и просмотр информации (WWW).

2)Доступ к удаленным базам данных (WAIS).

3)Связь и удаленный доступ к другим ПК (Telnet, RDP).

4)Группы новостей, подписки и т. д. (RSS).

5)Средства, в которых пользователи могут направлять свои сообщения и знакомиться

симеющимися (форумы, социальные сети).

11

6)Электронная почта (POP3, IMAP).

7)Разговор текстом на экране в режиме реального времени (IRC, ICQ, Skype).

8)Пересылка файлов (FTP, P2P).

Все возможности Интернета реализуются с помощью специализированного программного обеспечения.

Большинство информационных ресурсов находятся на серверах узлов Интернета, имеющих универсальные URL-адреса (локатор URL).

Изначально локатор URL был разработан как система для максимально естественного указания на местонахождение ресурсов в сети. Локатор должен был быть легко расширяемым и использовать лишь ограниченный набор ASCII-символов (к примеру, пробел никогда не применяется в URL). В связи с этим возникла следующая традиционная форма записи URL:

<схема>://<логин>:<пароль>@<хост>:<порт>/<URL-путь>?<параметры>#<якорь> В этой записи:

схема – схема обращения к ресурсу; в большинстве случаев имеется в виду сетевой протокол;

логин – имя пользователя, используемое для доступа к ресурсу; пароль – пароль указанного пользователя;

хост – полностью прописанное доменное имя хоста в системе DNS или IPадрес хоста в форме четырёх десятичных чисел, разделённых точками; числа – целые в интервале от 0 до

255;

порт – порт хоста для подключения;

URL-путь – уточняющая информация о месте нахождения ресурса (зависит от протокола);

параметры – строка запроса с передаваемыми на сервер (методом GET) параметрами. Разделитель параметров – знак &.

Пример параметр_1=значение_1&параметр_2=значение_2&параметр_3= значение_3

якорь – идентификатор «якоря», ссылающегося на некоторую часть (раздел) открываемого документа. С развитием AJAX в этой части стали размещать параметры для JavaScript на странице, и страница в зависимости от указанного якоря может в браузере выглядеть по-разному. Для обеспечения возможности индексирования подобных страниц поисковыми системами компания Google предложила подход, предполагающий использование знака «!» в начале якоря и некоторую поддержку на сервере сайта.

Общепринятые схемы (протоколы) URL включают: ftp – Протокол передачи файлов FTP;

http – Протокол передачи гипертекста HTTP;

https – Специальная реализация протокола HTTP, использующая шифрование (как правило, SSL или TLS) и применяемая в системах, предъявляющих повышенные требования к безопасности (например, в системах клиент-банк https://ibank.rosbank.ru, https://esk.sbrf.ru и

т. д.);

gopher – Протокол Gopher;

mailto – Адрес электронной почты; news – Новости Usenet;

nntp – Новости Usenet через протокол NNTP; irc – Протокол IRC;

prospero – Служба каталогов Prospero Directory Service; telnet – Ссылка на интерактивную сессию Telnet;

wais – База данных системы WAIS; xmpp – Протокол XMPP (часть Jabber); file – Имя локального файла;

data – Непосредственные данные (Data: URL); Экзотические схемы URL: afs – Глобальное имя файла в файловой системе Andrew File System;

cid – Идентификатор содержимого для частей MIME;

12

mid – Идентификатор сообщений для электронной почты;

mailserver – Доступ к данным с почтовых серверов; nfs – Имя файла в сетевой файловой системе NFS; tn3270 – Эмуляция интерактивной сессии Telnet 3270;

z39.50 – Доступ к службам ANSI Z39.50; skype – Протокол Skype;

smsto – Открытие редактора SMS в некоторых мобильных телефонах; ed2k – Файлообменная сеть eDonkey, построенная по принципу P2P; market – Android Маркет.

Наиболее эффективной службой для поиска информации в Интернете является World Wide Web (всемирная паутина) или просто Web, использующая гипертекстовое представление информации (протокол HTTP).

Для обзора информации, полученной от веб-сервера, на клиентском компьютере применяется специальная программа – веб-браузер. Основная функция веббраузера – отображение гипертекста. Всемирная паутина неразрывно связана с понятиями гипертекста и гиперссылки. Большая часть информации в Вебе представляет собой именно гипертекст. Для облегчения создания, хранения и отображения гипертекста во Всемирной паутине традиционно используется язык HTML (англ. HyperText Markup Language), язык разметки гипертекста. Работа по разметке гипертекста называется вёрсткой, мастера по разметке называют веб-мастером или вебмастером (без дефиса). После HTML-разметки получившийся гипертекст помещается в файл, такой HTML-файл является основным ресурсом Всемирной паутины. После того, как HTML-файл становится доступен веб-серверу, его начинают называть «веб-страницей». Для улучшения внешнего вида веб-страниц используют технологию каскадных таблиц стилей (CSS), которая позволяет задавать единые стили оформления для множества веб-страниц. Набор веб-страниц образует вебсайт. В гипертекст веб-страниц добавляются гиперссылки. Гиперссылки помогают пользователям Всемирной паутины легко перемещаться между ресурсами (файлами) вне зависимости от того, находятся ресурсы на локальном компьютере или на удалённом сервере.

В среде Web для повышения эффективности поиска целесообразно, кроме непосредственного ввода URL адресов, применять поисковые серверы и каталоги Web, использующие ключевые слова, наиболее крупными из которых являются google.com, yandex.ru, bing.com.

1.3Работа с основными веб-браузерами

Браузеры постоянно развивались со времени зарождения Всемирной паутины и с её ростом становились всё более востребованными программами. Ныне браузер – комплексное приложение для обработки и вывода разных составляющих веб-страницы и для предоставления интерфейса между веб-сайтом и его посетителем. Практически все популярные браузеры распространяются бесплатно или «в комплекте» с другими приложениями: Internet Explorer (совместно с Microsoft Windows), Mozilla Firefox (бесплатно),

Safari (совместно с Mac OS X и бесплатно для Microsoft Windows), Opera (бесплатно, начиная с версии 8.50), Google Chrome (бесплатно), Avant (бесплатно).

Статистика за март 2011 года утверждает, что 95% персональных компьютеров находится под управлением той или иной версии операционной системы Microsoft Windows. Начиная с версии Windows 98, штатной программой данного семейства операционных систем для просмотра веб-сайтов является Internet Explorer (IE).

Однако выбор штатного браузера, в конечном итоге, упирается в предъявляемые к браузеру конечным пользователем требования. Кому-то достаточно «просто программы», а кому-то нужны мощные средства по отладке, плагины, минималистичный интерфейс и мощный менеджер закачек.

Тем не менее основные принципы работы с любым браузером в среде любой операционной системы совпадают.

Перед началом работы необходимо ввести в поле для ввода адресов доменное имя

13

сервера или (опционально) ввести его ip-адрес непосрдественно. Следует отметить, что браузеры Firefox, Opera, Chrome (Chromium) также позволяют вводить в адресную строку поисковый запрос, так, как будто это сделано в поле специального поиска.

Opera и Firefox в штатной поставке предлагают также в поле специального поиска варианты для места поиска.

После завершения поиска в рабочей части экрана появляется начальная страница информации, где выделены цветом и подчеркнуты гиперсвязи, что можно использовать для быстрого знакомства с документом и поиска нужной информации. Для исключения повторов при просмотре цвет использованных связей меняется.

Поиск по нужному слову в длинных документах можно выполнить с помощью комбинации клавиш [Ctrl+F]. Вернуться к предыдущей просмотренной странице можно с помощью клавиши [Backspace]. При поиске можно открыть несколько страниц, которые будут храниться в кэше на винчестере. Все современные браузеры поддерживают вкладки, но расход памяти при работе с большим количеством вкладок у всех браузеров разный. Следует учитывать, что открытие большого количества страниц с ActiveX/Flash содержимым может существенно замедлить работу системы. В частности, ввиду особенностей устройства движка браузера компании Гугл, отдельные страницы создают отдельный процесс в памяти (механизм песочницы).

Для тех браузеров, в которых главное меню присутствует в неявной форме, к нему можно получить доступ, нажав клавишу [Alt].

Сохранение необходимой информации выполняется отметкой необходимого фрагмента документа, копированием в текстовый редактор или записью на винчестер с использованием комбинации клавиш [Ctrl+S]. Каждый браузер имеет свои особенности сохранения, какие-то пытаются сохранить страницу со скриптами, какие-то видоизменяют html-код. В результате имеем разный размер для сохраненной страницы.

Независимо от браузера, нажатие клавиши [ПРОБЕЛ] вызовет пролистывание страницы, [Home], [End] вернут фокус вверх и вниз страницы соответственно.

При необходимости в любом браузере можно осуществить печать, нажав на клавиатуре [Ctrl+P]. При необходимости распечатать не весь веб-сайт, а отдельные фрагменты текста, можно перед нажатием [Ctrl+P] выделить необходимый фрагмент и при печати указать опцию «Печатать выделение». Также весьма удобным представляется предварительное копирование текста с веб-страницы в Windowsприложение Блокнот (gedit, kedit для Linux) для очистки текста от специальных веб-символов и последующего копирования подготовленного фрагмента текста в текстовый редактор с настройкой размера и стиля шрифта.

1.4Поиск в Гугле

1.4.1Основы поиска

Чтобы ввести запрос, напечатайте ключевые слова и нажмите ENTER либо щелкните кнопку «Поиск в Google».

Гугл использует интеллектуальную технику анализа текстов, которая позволяет искать важные и вместе с тем релевантные страницы по вашему запросу. Для этого Гугл анализирует не только саму страницу, которая соответствует запросу, но и страницы, которые на нее ссылаются, чтобы определить ценность этой страницы для целей вашего запроса. Кроме того, Гугл предпочитает страницы, на которых ключевые слова, введенные вами, расположены недалеко друг от друга.

14

Рис. 1.2 – Варианты поиска браузера Mozilla Firefox

в

Рис. 1.3 – Выделение памяти браузерами а) Opera, б) Firefox, в) Chromium

15

д

Рис. 1.4 – Размер папки с сохраненной страницей

1.4.2Показ ключевых слов в результатах

Каждый раз в списке найденных страниц Гугл показывает отрывок из текста на странице, выделяя в этом отрывке ключевые слова. Тем самым облегчается обнаружение ключевых слов в тексте.

Второй способ увидеть ключевые слова – загрузить страницу по ссылке «Сохранено в кэше». Недостаток этого способа (а иногда это рассматривается как преимущество) – в том, что вы видите не ту страницу, которая есть сегодня, а ту, которая сохранена в базе Гугла.

Третий способ – традиционный для просмотра текста в браузере – использовать сочетание клавиш [Ctrl+F]. Появится окно «найти», в которое вводятся искомые слова. Раскладка клавиатуры, установленная в этот момент на компьютере, значения не имеет.

16

1.4.3Логическое «И»

По умолчанию при написании слов запроса через пробел Гугл ищет документы, содержащие все слова запроса. Вам не нужно вводить оператор «and» между словами запроса. Помните, что порядок расположения слов влияет на результаты поиска. Чтобы еще больше сузить область поиска, задавайте дополнительные условия.

Пример [Крылья ноги хвост]

About 141,000 results (0.18 seconds)

В идеологии Гугла данный запрос равнозначен запросу, где ключевые слова объединены оператором логического «И»:

Пример

[Крылья AND ноги AND хвост]

About 14,800,000 results (0.17 seconds)

Гугл игнорирует общие слова и символы на некоторых языках, такие как «где» и «как», а также некоторые одиночные цифры и буквы, так как они замедляют поиск и не влияют на качество результатов.

Если общее слово необходимо для получения нужных результатов, то его можно включить в условие поиска, поставив перед ним знак «+». (Перед знаком «+» обязательно должен быть пробел.)

Еще один способ включения общего слова – это поиск по словосочетанию. Просто поместите два или более слов в кавычки. Общие слова не исключаются из поиска по словосочетанию.

Пример [Звездные войны эпизод +1]

About 284,000 results (0.19 seconds)

[”Звездные войны эпизод I”]

About 163,000 results (0.19 seconds)

1.4.4Заглавные буквы или прописные?

Гугл НЕ чувствителен к регистру букв. Все буквы воспринимаются как прописные, вне зависимости от того, как их вводили в поисковую строку.

Пример [Владимир Путин]

About 45,000,000 results (0.14 seconds)

[владимир путин]

About 45,000,000 results (0.14 seconds)

1.4.5Логическое «ИЛИ»

Пишется с помощью оператора OR или с использованием вертикальной черты «|». Обратите внимание, что оператор OR должен быть написан заглавными буквами.

Пример

[Windows OR Linux] [Windows | Linux]

Интересно, что Гугл может показать и те страницы, на которых нет ключевых слов, но эти слова содержатся в ссылках на показанную страницу. В таком случае при просмотре страницы с помощью ссылки «Сохранено в кэше» будет видна надпись: «Эти слова присутствуют только в ссылках на эту страницу: Windows Linux».

17

1.4.6Морфологический поиск

Гугл умеет склонять слова. То есть, где это улучшит результаты поиска, Гугл будет искать не только слова из запроса, но и их формы. Например, для запро са «как лечить ожог» будут также найдены страницы, содержащие «лечение ожогов», для «звон колокола» – «колокольный звон», для «футбол английский чемпионат» – «чемпионат Англии по футболу», а для «русификация ICQ» – «русификатор ICQ».

Морфологический поиск можно отключить в любой момент, поставив оператор + перед словом или взяв слово в кавычки. Например, для запроса [звон +колокола] или [звон «колокола»], будет найдено только точное вхождение слова колокола, а колокольный звон найден не будет.

1.4.7Поиск словосочетаний

Иногда нужны результаты поиска, содержащие точное словосочетание. В этом случае просто возьмите условия поиска в кавычки.

Поиск по словосочетанию особенно эффективен при поиске имен собственных («Иван Грозный»), цитат («белеет парус одинокий») или популярных высказываний («Счастливые часов не наблюдают»).

1.4.8Улучшение запроса во время поиска

Поскольку Гугл выдает все слова, которые вы вводите в запросе, имеет смысл составлять новые запросы, содержащие те слова, которые вы забыли ввести в начале поиска, но нашли в ходе его выполнения в найденных текстах. В ряде случаев это может помочь улучшить поиск. Если же добавлять эти слова к уже имеющемуся запросу, то можно иногда излишне сузить диапазон результатов.

1.4.9Исключение слов из запроса. Логическое «НЕ»

Как известно, информационный мусор часто встречается при составлении запроса. Чтобы его удалить, стандартно используются операторы исключения – логическое «НЕ». В Гугле такой оператор представлен знаком («минус»). Используя этот оператор, можно исключать из результатов поиска те страницы, которые содержат в тексте определенные слова.

Пример [Журавль колодец]

About 263,000 results (0.24 seconds) [Журавль колодец - птица]

About 132,000 results (0.18 seconds)

[Журавль - колодец - птица]

About 2,580,000 results (0.20 seconds)

Гугл воспринимает как знаки, связывающие слова в единую фразу, не только кавычки, но и такие символы, как слэш (косая черта), звёздочка, точка, знак равенства, апостроф.

Пример [бэтмен и робин]

About 458,000 results (0.15 seconds) [бэтмен-и-робин]

About 1,520,000 results (0.14 seconds)

[бэтмен/и/Робин]

About 456,000 results (0.15 seconds)

[бэтмен=и=робин]

About 456,000 results (0.14 seconds)

18

[бэтмен.и.робин]

About 457,000 results (0.12 seconds)

[бэтмен*и*робин]

About 457,000 results (0.16 seconds)

[бэтмен’и’робин]

About 937,000 results (0.29 seconds)

[”бэтмен и робин”]

About 943,000 results (0.29 seconds)

Во всех вышеприведенных случаях первым в выдаче стоит текст, фрагмент которого приведен ниже: «Бэтмен и Робин (BATMAN & ROBIN). Всё о фильме: фотографии, обои, комментарии пользователей, сеансы, новости, рейтинг фильма .».

При этом все три слова – «бэтмен», «и», «робин» рассматриваются как отдельные, но стоящие рядом и в этой последовательности.

1.4.10 Количество слов в строке поиска

Результат:

About 12,780,000,000 results (0.23 seconds)

"33"(and any subsequent words) was ignored because we limit queries to 32 words.

.

1.4.11 Запрос подстановки

Гугл поддерживает вариант поиска, когда вместо целого слова в запрос вводится звездочка. Эта звездочка называется запросом подстановки.

Например, по запросу: [норд *]

Будет выдано: nord-news.ru nordnews

Норд Портал Норд Тревел Норд-Капитал Норд-ост По запросу:

[партия * и *] Будут выведены результаты:

Партия коммунистов и АЕИ Партия богатых и влиятельных Партия жуликов и воров Партия мира и единства

1.4.12 Использование синонимов

Для англоязычного сегмента Гугла возможно использование специального символа ~ («тильда») для поиска синонимов поискового запроса. Сравните:

19

[cola]

и

[~cola]

В первом случае в результат выдачи на первое место попадет сайт COLA – Laboratory Accreditation. Во втором случае, в первую пятерку попадут сайты Pepsi и Coca-Cola Company. Однако самый релевантный запрос для того, чтобы получить представление о том, что именно называется словом cola, можно с помощью запроса подстановки [* cola].

1.4.13 Операторы поиска

Гугл поддерживает специальные операторы поиска, часть из которых доступна при использовании «Расширенного поиска», а часть нет.

Вводить специальные операторы следует после (или предваряя её) строки запроса через пробел.

Например, чтобы найти все упоминания о Навальном на официальном сайте правительства Российской Федерации, используется следующий запрос:

[навальный site:правительство.рф]

Рассмотрим наиболее популярные операторы поиска.

site:сайт

Найти страницы, принадлежащие определенному домену и всем его поддоменам, а также доменам верхнего уровня и директориям. Можно использовать логическое ИЛИ для поиска по нескольким доменам.

Пример

[Linux site:linux.org.ru] [Linux site:org.ru] [Linux site:(ru | ua)]

[xfce site:cdimage.debian.org/debian-cd/]

filetype:тип

Поиск файлов определенного расширения: HTML, XML, PDF, DOC, PPT, XLS, RTF,

DJVU.

Пример

[Учебник физика filetype:pdf] [ландсберг filetype:djvu]

link:сайт

Поиск страниц, которые ссылаются на страницу, по которой сделан запрос. Пример

[link:www.newsland.ru]

lang:язык

Поиск страниц на определенном языке. Пример

[pepsi lang:ru] [pepsi lang:fr]

Даст результат для русского и французского языка соответственно. related:адрес

Поиск похожих на указанную страниц Пример

[related:www.tomsk.ru]

20