3.2. Характеристика серверів управління трафіком

Трафіком називається вся інформація, що передається через мережу Інтернет. Основна ціль серверів управління трафіком – пере-направлення споживачів до кінцевого сервера. Згідно з класифікацією веб-серверів до цієї групи належать пошукові системи, каталоги та ініціюючі сервери.

Пошукові системи. Для організації пошуку інформації в мережі Інтернет призначено пошукові сервери (пошукові системи). Використовуючи такі сервери, можна подати запит на пошук потрібної інформації, а сервер (система) у відповідь видає список посилань (адрес) на електронні джерела, при цьому кожна адреса відіграє роль гіперпосилання, активізуючи яке, можна одразу ж відкрити відповідну веб-сторінку.

За принципом дії пошукові сервери поділяються на пошукові каталоги і пошукові індекси. Пошукові каталоги дозволяють здійснювати

тематичний пошук. Початкова сторінка таких серверів є тематичним рубрикатором верхнього рівня. Вибравши рубрику, підрубрику і т.д., можна поступово опускатися до переліку матеріалів, які присвячені досить вузькій тематиці.

Пошукові індекси працюють як алфавітні вказівники. У них певний запит робиться в полі пошуку у вигляді подання послідовності ключових слів, які відповідають змісту шуканої інформації. У відповідь на такий запит буде видано список веб-сторінок, в яких зустрічаються вказані слова.

Багато інформаційно-пошукових систем є одночасно і пошуковими каталогами, і пошуковими індексами. Відмітимо, що пошукові системи часто називають пошуковими машинами або машинами пошуку. Всього в світі існують сотні пошукових систем, і вибір якоїсь із них залежить від власних уподобань. Деякі з пошукових систем дозволяють шукати інформацію не тільки на веб-сторінках, але й у групах новин і в місцях, де зберігаються файли.

Отже, основне завдання пошукових систем – впізнати інші сервери Інтернету через пошук за ключовими словами бази даних, яка складається з проіндексованого змісту веб-серверів мережі загалом. Пошукові системи складаються з трьох основних частин. 1. Спайдери (Spider, Crawler, Robot) – програма, що відвідує веб-сервери, зчитує й індексує цілком або частково їхній вміст і далі рухається через посилання, знайдені на сервері. Спайдер повертається через визначені періоди часу, наприклад, кожного місяця, і повторює індексацію сторінок.

Кожний пошуковий механізм має власний набір засобів, завдяки якому визначається збір документів. Зупинимось коротко на їх особливостях.

• Агенти є найінтелектуальнішими з пошукових засобів. Вони можуть робити більше, ніж просто шукати: вони можуть виконувати транзакції від імені користувача, а також шукати сайти специфічної тематики і повертати списки сайтів, відсортованих за їх відвідуваністю. Агенти можуть обробляти вміст документів, знаходити та індексувати інші види ресурсів, не лише сторінки. Вони можуть бути запрограмовані для отримання інформації з вже існуючих баз даних. Незалежно від інформації, яку агенти індексують, вони передають її назад до бази даних пошукового механізму.

• Павуки здійснюють загальний пошук інформації в Інтернеті. Павуки повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також можуть переглядати заголовки, деякі посилання і відправляти проіндексовану інформацію до бази даних пошукового механізму.

• Кроулери переглядають заголовки і повертають користувачу тільки перше посилання.

• Роботи можуть бути запрограмовані таким чином, щоб переходити по різним посиланням різної глибини вкладеності, виконувати індексацію і перевіряти посилання в документі. Але, вони можуть застрягати в циклах, адже, проходячи за посиланнями, їм потрібні значні ресурси мережі. Існують методи, що забороняють роботам пошук по сайтах, власники яких не бажають, щоби вони були проіндексовані.

2. Усе, що знаходить і зчитує спайдер, попадає в індекси пошукової системи. Індекси системи – гігантське сховище інформації, де зберігаються копії текстової складової усіх сторінок, що відвідав і проіндексував спайдер.

Агенти збирають та індексують різні види інформації. Деякі, наприклад, індексують кожне окреме слово у документі, в той час як інші індексують тільки 100 найбільш важливих слів в кожному документі, індексують розмір документу і кількість слів в ньому, назву, заголовки і підзаголовки і так далі. Вигляд побудованого індексу визначає, який пошук може бути проведений пошуковим механізмом і як отримана інформація буде інтерпретована.

Агенти знаходять інформацію, після чого її розміщують в базі даних пошукового механізму. Адміністратори пошукових систем визначають, які сайти або типи сайтів агенти мають відвідати та проін-дексувати. Проіндексована інформація відправляється до бази даних пошукового механізму.

Користувачі можуть розміщувати власну інформацію прямо в індексі, заповнюючи особливу форму для того розділу, в який вони хотіли б помістити свою інформацію. Ці дані передаються базі даних.

Коли користувач хоче знайти інформацію, доступну в Інтернеті, він відвідує сторінку пошукової системи і заповнює форму, що деталізує потрібну йому інформацію. Тут можуть використовуватись ключові слова, дати та інші критерії. Критерії в формі пошуку повинні

відповідати критеріям, які використовуються агентами при індексації інформації, яку вони знайшли при переміщені по мережі.

База даних відшукує предмет запиту, що базується на інформації, яка вказана в заповненій формі, і виводить відповідні документи, що підготовані базою даних. Для того, щоб визначити порядок, в якому перелік документів буде показано, база даних застосовує алгоритм ранжування. В ідеальному випадку, розташованими першими в списку будуть такі документи, що є найбільш релевантними до запиту користувача.

3. Третя частина – це програма, що відповідно до запиту користувача перебирає індекси пошукової системи в пошуках інформації і видає йому в порядку зменшення релевантності знайдені документи. Релевантність визначає, наскільки повно той або інший документ (зміст знайденої веб-сторінки) відповідає критеріям, зазначеним у запиті користувача. Але комп'ютер – не людина, і тому пошукові системи використовують спеціальні алгоритми для визначення релевантності.

Теоретичних методів визначення релевантності веб-сторінок існує більш ніж 20. Але виділяють два основні напрями: лінгвістичне (Rambler, Яndех) і статистичне (Google). Основні російські пошукові системи (зокрема Rambler) використовують лінгвістичний напрям, коли пошуковий робот, переглядаючи сторінку, звертає увагу на «літературність» її написання (наприклад, «чом ти не прийшов» буде більш релевантною, ніж «чом ти не травень прийшов»).

Різні пошукові системи використовують різні алгоритми ранжування, однак основними принципами визначення релевантності є наступні:

• Кількість слів запиту, який є у текстовому вмісті документу (тобто в html-коді).

• Теги, в яких ці слова розташовуються.

• Місцеположення шуканих слів у документі.

• Питома вага слів, відносно яких визначається релевантність сторінки, у загальній кількості слів документу.

Вище вказані принципи застосовуються всіма пошуковими системами, в той час як наведені нижче використовуються лише деякими, але достатньо відомими (наприклад, AltaVista).

• Час – тобто як довго сторінка знаходиться в базі пошукового сервера. Спочатку здається, що це недолугий принцип. Але в Інтернеті існує багато веб-сайтів, час життя яких складає близько місяця. Якщо ж сайт існує досить довго, то це означає, що його власник є досвідченим за певною темою. Вірогідно, що користувачу більше підійде веб-сайт, що існує вже кілька років, ніж той, який з'явився тиждень тому за цією ж тематикою. • Індекс цитованості показує як багато посилань на дану веб-сторінку ведеться з інших сторінок, що зареєстровані у базі пошукової системи. База даних виводить ранжований таким чином перелік документів з html-кодами і повертає його користувачу, який зробив запит. Різні пошукові механізми вибирають різні способи показу отриманого переліку – деякі відображають лише посилання, інші – виводять посилання з декількома першими реченнями документу чи заголовок документу разом з посиланням. Коли користувач звертається до посилання на один з документів, цей документ завантажується з сервера, на якому він знаходиться.

Зрозуміло, далеко не завжди документ, визнаний пошуковою системою найбільш релевантним, буде таким на думку самого користувача.

У кожній пошуковій системі працює власний спайдер, кожна система індексує сторінки своїм особливим способом і пріоритети при пошуку за індексами теж відмінні. Тому запит на основі визначених ключових слів або виразів у кожній з пошукових систем зазвичай породжує різні результати.

Найбільш відомими міжнародними пошуковими системами є:

- AltaVista (http://www.altavista.digital.com/).

- Excite (http://www.excite.com/).

- HotBot (http://www.hotbot.com/).

- Infoseek (http://www.infoseek.com/).

- Lycos (http://www.lycos.com/).

- WebCrawler (http://www.webcrawler.com/).

Каталоги (directories). Ці веб-сервери Інтернету виконують аналогічну пошуковим системам функцію з тією різницею, що пошук здійснюється користувачем вручну за ієрархічно організованою тематичною структурою каталогів (див. додаток Г). Для реєстрації в каталозі необхідно або заповнити визначену форму, або надіслати

запит, що містить вказівку, в який розділ ви хочете помістити свою сторінку, короткий опис сайта і список ключових слів для пошуку сторінки в каталозі. «Королем» серед каталогів по праву вважається Yahoo! (http://www.yahoo.com/).

Сайт (site) – це ресурс Інтернету, який не має виділеної серверної програми. Як правило, він є інтегрованою частиною сервера, каталогом на серверному комп'ютері, незважаючи на те, що більшість сайтів мають власне доменне ім'я.

• Приклади українських каталогів і їх основне призначення:

- UaList.com – каталог, пошукова система, пошта, робота, знайомства;

- Youth.net.ua – каталог молодіжних сайтів;

- Richard-LS – тематичний каталог сайтів. Має прямі лінки;

- Silver Україна в Інтернеті – тематичний каталог ресурсів. Забезпечує пошук у рубриках;

- 360.cotn.ua – мета-пошук інформації на пошукових серверах усього світу; надає можливість пошуку інформації на музичних веб-сайтах України та Росії;

- UaList – пошукова система і тематичний каталог українських сайтів;

- Sesna – пошукова система та каталог, які є однією з найсерйозніших розробок у сфері рубрикації української та україномовної частини Інтернету. Пошук виконується як за ключовими словами, так і за темами; в межах регіону або країни;

- Ukrop – український об'єднаний портал: є інформація про Україну, останні новини, практично всі ресурси українського Інтернету, пошук необхідної інформації, каталог українських ресурсів;

- Старт Україна – інформаційно-розважальні та ділові ресурси: фірми, організації, новини, оголошення, домени. Забезпечує пошук у каталозі;

- AtlasUa – функціональний каталог українських сайтів. Дає можливість пошуку товарів, послуг, новин, повнотекстових документів;

- QS – каталог сайтів та пошукова система. Посилання супроводжуються анотаціями. Також містить прайс-листи, оголошення, курси валют, погодні умови та інші рубрики;

- КУСТ– пошук в українських ресурсах, різноманітні сервіси, послуги, служби. Веде статистику сайтів та чемпіонат сайтів.

• Приклади російських каталогів і характеристика їх можливостей:

- Улітка – тематичний каталог російських інтернет-ресурсів, який продовжує розвиватися. Поповнюється регулярно, але не надто оперативно. Пошук здійснюється як за назвою сайту, так і за URL. Посилання розбиті на декілька великих розділів, але не мають коментарів;

- SearchCentre – каталог ресурсів Інтернету, поділений на 15 категорій. Ведеться рейтинг сайтів;

- Омен – «Кращі посилання в Інтернеті» – великий тематичний каталог ресурсів Інтернету. Понад 10 тисяч кращих посилань з усіх тем, дво-трирівнева класифікація, відсутність неякісних ресурсів;

- Сурок – це компактний каталог російських інтернет-ресурсів з можливістю пошуку;

- @llru.пеt – анотований каталог ресурсів. Посилання на різноманітні теми. Можливий пошук за ключовим словом. Веб-сайт оновлюється щоденно;

- ЕМіr – дозволяє шукати за частиною слова, за фразою, а також у знайденому. Має рейтинг сайтів і каталогів;

- RIN – об'ємний каталог кращих посилань в Інтернеті. Характеризується високою швидкістю і простотою навігації. Ресурси цього каталогу постійно оновлюються;

- Dylan – пошукова система та каталог кращих інтернет-ресурсів.

Найкращим прикладом для українських та російських каталогів може бути Карлсруеський віртуальний каталог (КВК – KVK), який стане в нагоді, якщо мова йде про пошук книг чи інших самостійних публікацій. До цього каталогу можна дістатися за адресою http:// kvk.uni-karlsruhe.de, і на сьогодні він є одним з найважливіших бібліографічних пошукових систем Німеччини, що підтверджують такі дані про кількість його користувачів: КВК опрацьовує щомісяця мільйон запитів з усієї країни. Цю пошукову систему для Інтернету щодо пошуку книг і журналів було розроблено у Карлсруеській університетській бібліотеці у процесі співпраці з факультетом інформатики і підключено у липні 1996 р. З того часу каталог постійно поновлюється й оптимізується.

КВК – це метапошукова система в Інтернеті. Коли запит вводиться у пошуковий реєстр, то пошук проводиться зразу ж за 27 бібліотечними і книготорговельними каталогами, представленими в мережі. КВК охоплено 75 мільйонів книжок і журналів, а це на сьогодні колосальна цифра, навіть якщо взяти до уваги, що маса книжок описується в каталозі по декілька разів. Користувач вибирає сам, в яких каталогах необхідно здійснювати пошук.

Насамперед система КВК постачає списки знайдених публікацій з форматованими короткими назвами творів, які за допомогою простого клацання мишкою перетворюються на повні назви з інформацією, де їх можна знайти. Таким чином можна дізнатися, в якій бібліотеці знаходиться певна книга і які умови її отримання на абонементі або за міжбібліотечним абонементом. Основні поняття структури цього каталогу, з якими стикається користувач при пошуку інформації, надаються у англійському та іспанському варіантах. Пошук у КВК можна здійснювати за назвою твору, за автором чи ключовим словом або ж за видавництвом, роком видання та номером ISBN-/ ISSN. Зрозуміло, що КВК може знайти тільки те, що надають інтернет-каталоги. Але далеко не кожна книга, яка є в бібліотеці, описана в комп'ютерному каталозі. Бібліотеки напружено працюють над переведенням своїх фондів у цифровий варіант. Можна виходити з того, що, як правило, література останніх 10-20 pp. повністю описана в комп'ютерних каталогах.

З часу свого заснування КВК інтегрує все більше інтернет-каталогів у пошукову систему. Зараз запит передається до тринадцяти німецькомовних зведених каталогів, тобто до спільних пулів даних великих бібліотек, п'ять з них – австрійські та швейцарські. До цього додаються десять бібліотечних каталогів з не німецькомовного зарубіжжя – з Франції, Великої Британії, Італії, Норвегії, Швеції, Іспанії та США. Серед них: Бібліотека конгресу, Національна бібліотека Франції та Британська бібліотека. Можна також здійснювати пошук у базі даних журналів (БДЖ-ZDB) – найбільшій у світі базі даних щодо газет, журналів і т.д., а також фондів. Там зазначені не тільки друковані засоби інформації, але й електронні журнали, але, на жаль, немає переліку статей.

Але можливості КВК значно більші – він здійснює пошук у каталогах великих оптовиків і книжкових інтернет-магазинів, а також у Центральному переліку антикварних книг, який зараз охоплює більш, ніж чотири мільйони творів з 900 антикварних магазинів у 17 країнах, які можна замовити за допомогою мережі Інтернет. Насамкінець, з середини липня 2002 року у виведення результатів пошуку за запитом було інтегровано також формуляр пошукової системи Google в Інтернеті. За допомогою клацання мишкою стартує подальша пошукова робота стосовно інтернет-документів.

Життя науковців, студентів і бібліотекарів вже не можна собі уявити без КВК, який за свої послуги був відзначений премією за новаторство «Інетбіб 1999» («InetBib 1999 Award Innovation»).

Комбіновані системи. Деякі пошукові системи мають при собі і каталог. Індекси для самої пошукової системи добуваються спайдером, а каталог поповнюється через реєстраційну форму або модераторами системи.

• Приклади комбінованих систем:

- Excite Net Directory (http://www.excite.com).

- InfoSeek (http://infoseek.go.com).

- Lycos (http://www.lycos.com).

- WebCrawler (http://www.webcrawler.com).

Ініціюючі сервери. На відміну від пошукових машин і каталогів, ціль яких – пошук інформації і наступне перенаправлення користувачів до знайдених ресурсів відповідно до запиту, ініціюючі сервери використовують більш комплексний підхід і, поряд з функціями пошуку інформації і переміщення до неї користувачів, надають тематично різноманітний інформаційний зміст. Найбільш великі з них одержали назву порталів.

Портали – це веб-вузли, що являють собою поєднання інформаційного наповнення, спільноти користувачів і базових послуг, таких, наприклад, як електронна пошта. Вони служать відправним пунктом навігації в середовищі Інтернет, де можна ознайомитися із заголовками новин, дізнатись про події в мережі, і є центрами, навколо яких будуються взаємовідносини користувачів з Інтернетом. Сюди користувач може повернутися, якщо він заблудився в Павутині, тут також

можна слідкувати за курсами акцій, саме звідси можна починати пошук. Тут знаходяться поштові скриньки користувачів, які призначені для отримання і відправлення повідомлень електронної пошти, а також особиста базова сторінка. Крім того, портал виступає гарантією безпеки і орієнтиром у всьому, що стосується середовища Інтернет.

Портали володіють приблизно однаковою комбінацією інформаційного наповнення і набором послуг. Відмінності полягають лише в тому, наскільки успішно інтегровані всі функції і наскільки вдало вибрані технології для організації спільнот користувачів, веб-сторінок, діалогів, електронної пошти і миттєвого відправлення повідомлень.

Основними складовими елементами порталів вважають наступні:

• Канали. Одна із основних функцій порталів – спрощення пошуку даних шляхом поділу всієї інформації на канали.

• Електрона пошта. Найпопулярніший рід занять в мережі Інтернет став стандартним доповненням до порталів, ще одним способом привести користувачів до вузла і дати їм відчуття зв'язку з порталом. За допомогою поштових клієнтів, не тільки автономних, але і на базі мережі можна переглянути HTML-пошту, створити папки і організувати адресну книгу.

• Дискусії. Можливість організації форуму для обміну ідеями і зустрічі з іншими користувачами. Дискусії є одним із головних атрибутів будь-якого порталу. Більшість порталів наділені вбудованими засобами діалогової взаємодії, які охоплюють всі служби порталу.

• Покупки. Інтернет перетворився в гігантський ринок товарів і послуг, і розробники порталів мають вигоди від такої ситуації, вони збирають посилання на комерційні вузли і надають користувачам інструменти для пошуку потрібних їм продуктів. Так, в Shopping Guide вузла Yahoo! передбачена функція пошуку в Інтернет товарів, наприклад, книг з найнижчою ціною.

Одним із найбільш популярних міжнародних порталів виступає Excite (http://www.excite.com), про який вже йшла мова як про одну з популярних міжнародних пошукових систем.