5.2. Поисковые системы

Для быстрого поиска информации в Internet разработаны специальные программы, которые по заданным адресам и ссылкам мгновенно отыскивают нужную информацию. При этом число обработанных информационных ресурсов может достигать сотен тысяч.

Поисковая система – web-сайт, предоставляющий возможность поиска информации в Internet. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на Ftp-серверах, товары в Internet-магазинах, а также информацию в группах новостей Usenet.

В последнее время появился новый тип поисковых движков, основанных на технологии RSS, – семейство XML-форма-тов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т. п. Можно назвать и аналогичные технологии: Rich Site Summary (стандарт RSS 0.9x) - обогащенная сводка сайта; RDF Site Summary (RSS 0.9 и 1.0) - сводка сайта с применением инфраструктуры описания ресурсов; Really Simple Syndication (RSS 2.x) – очень простое приобретение информации. Информация из различных источников, представленная в формате XML на базе RSS-стандартов, может быть собрана, обработана и представлена пользователю в удобном для него виде специальными программами- агрегаторами.

Комплекс программ, обеспечивающий функциональность поисковой системы, называют поисковым движком или поисковой машиной. Основными критериями качества работы поисковой машины являются релевантность, полнота базы, учет морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. Улучшение работы поисковых систем – это одна из приоритетных задач сегодняшнего Internet.

Первой поисковой системой для Всемирной паутины был «Wandex» – робот, разработанный Мэтью Греем (Matthew Gray) из Массачусетского технологического института в 1993 году. В том же 1993 году появилась поисковая система Aliweb, работающая до сих пор.

Первой полнотекстовой (т. н. «Crawler-based» - то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994 году. В отличие от своих предшественников она позволяла пользователям искать по любым ключевым словам на любой Web-странице - с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором стало известно в широких кругах. В 1994 году был запущен поисковик Lycos, разработанный в университете Карнеги Мелона (США).

Вскоре появилось множество других конкурирующих поисковых машин, таких как Excite, Infoseek, Inktomi, Northern Light и AltaVista. В некотором смысле они конкурировали с популярными Интернет-каталогами, такими как Yahoo!. Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям Internet стало доступно морфологическое расширение к поисковой машине AltaVista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 года была реализована поисковая машина Yandex.

Помимо поисковых машин для Всемирной паутины существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и Veronica для поиска в Gopher.

В настоящее время совокупности поисковых и сервисных программ образуют общедоступные и коммерческие поисковые службы: в зарубежном секторе Internet это AltaVista, Excite, Google, HotBot, Infoseek (Go)Light, Lycos, Magellan, Norbern, Yahoo!, Open Text, Web Crawler, в русскоязычном секторе основными полнотекстовыми поисковыми системами считаются

Апорт, «Иван Сусанин», «Кирилл и Мефодий», «Россия-Он-Лайн», Rambler, List.ru, Russia on the Net, FTP-Search, Yandex.

По данным компании Net Applications, в декабре 2009 года рыночная доля Google в мире составляла 77,04%, Yahoo - 12,46%, MSN - 3,33%, Microsoft Live Search - 2,57%, AOL - 2,12%, Ask - 1,38%, AltaVista - 0,13%, Excite - 0,07%, Lycos - 0,02%, All the Web - 0,02%.

Популярность поисковых систем в русскоязычном сегменте Internet (Рунете):

• многоязычные: Google (18% Рунета), Yahoo! (1% Рунета) и принадлежащие этой компании поисковые машины: Overture, Inktomi, AltaVista, Alltheweb FAST-Engine, а также MSN (2% Рунета, принадлежит «Microsoft»);

• русскоязычные: Aport (1% Рунета), Rambler (18% Рунета), Yandex (47% Рунета), Mail.ru (7% Рунета), Webalta, Qwika, Gogo.ru, Turtle, Punto, Nigma, Darodar - поисковая система товаров, VisualWorld, Вершки Рунета - поиск по заглавным страницам.

Большинство русскоязычных поисковых систем индексируют и ищут тексты на многих языках - украинском, белорусском, английском и др. Отличаются они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык, или другими способами ограничивают своих роботов русскоязычными сайтами.

Наряду с универсальными поисковыми системами большой популярностью пользуются специализированные, такие как метапоисковые MetaCrawler.com и Nigma.ru, или осуществляющие «вертикальный» поиск (по конкретным типам: новости, картинки, видео, фото, вакансии, группы товаров и т.п.).