2.9. Поисковые системы в интернете

2.9.1. Классификация и особенности поисковых систем

Основные протоколы, используемые в интернете, не обеспечены достаточными встроенными функциями поиска, не говоря уже о миллионах серверах, находящихся в ней. Протокол HTTP, используемый в интернете, хорош лишь в отношении навигации, которая рассматривается только как средство просмотра страниц, но не их поиска. То же самое относится и к протоколу FTP, который даже более примитивен, чем HTTP. Из-за быстрого роста информации, доступной в сети, навигационные методы просмотра быстро достигают предела их функциональных возможностей, не говоря уже о пределе их эффективности. Не указывая конкретных цифр, можно сказать, что нужную информацию уже не представляется возможным получить сразу, так как в сети сейчас находятся миллиарды документов и все они в распоряжении пользователей интернета, к тому же сегодня их количество возрастает согласно экспоненциальной зависимости. Количество изменений, которым эта информация подвергнута, огромно и, самое главное, они произошли за очень короткий период времени. Основная проблема заключается в том, что единой полной функциональной системы обновления и занесения подобного объема информации, одновременно доступного всем пользователям интернета во всем мире, никогда не было. Для того, чтобы структурировать информацию, накопленную в интернете, и обеспечить ее пользователей удобными средствами поиска необходимых им данных, были созданы поисковые системы.

Существует два базовых вида поисковых систем: Каталог, и Индексирующая.

Каталог — каталогизированная (как правило, вручную), коллекция ссылок. Поиск в такой системе осуществляется путем перехода от более крупного к более мелкому разделу каталога с все большей детализацией области поиска. В итоге, серфер приходит в раздел, который содержит ссылки, близкие к интересующей его теме. Примерами каталогов являются: Yahoo.com, Dmoz.org, Rambler.ru, и т.д.

Индексирующая поисковая система — поисковик, индексирующий страницы найденные в сети и выдающий результаты поиска при вводе пользователем поискового запроса. Получая этот запрос, поисковая система делает запрос к своей базе и извлекает оттуда страницы, которые по ее мнению наиболее точно соответствуют вашему запросу. Индексирующими поисковыми системами являются: Google.com, Altavista.com, AllTheWeb.com, и т.д.

На данный момент практически все поисковые системы, совмещают в себе элементы индексирующей системы и каталога.

Поисковые системы обычно состоят из трех модулей:

агент (паук или кроулер), который перемещается по сети и собирает информацию;

база данных, которая содержит всю информацию, собираемую пауками;

поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

Качество работы отдельно взятой поисковой системы сильно зависит от качества работы всех трех программных модулей системы.

Методы поиска, используемые в классических ИПС, разрабатывались и тестировались на относительно небольших и однородных коллекциях, таких как библиотечные каталоги или коллекции газетных статей. Веб как набор данных имеет ряд важных особенностей:

Размер. За последние годы было предпринято множество попыток оценить размер Веб, и, хотя оценки не полностью совпадают, все они единогласны в том, что в Веб содержится более миллиарда страниц. Учитывая, что размер среднестатистической страницы составляет 5-10 Кб, нетрудно подсчитать, что речь идет о терабайтах. Объем же наиболее крупных тестовых коллекций для классических ИПС составляет около 2 Гб.

Отметим, что эти оценки касаются только той ``поверхностной'' части Веб, которая не скрыта за поисковыми формами, и доступ к которой не требует предварительной регистрации или авторизации. Другую, ``скрытую'' часть Веб (hidden web), поисковые системы обычно не рассматривают, а ведь к ней относится множество крупных баз данных, опубликованных в интернете. Поэтому неудивительно, что оценка объема ``скрытого'' Веб в 500 раз больше, чем объем ``поверхностного'' Веб.

Недавно исполнительный директор Google Эрик Шмидт заявил, что на индексацию всей информации интернета уйдет около 300 лет. В настоящее время из приблизительно пяти миллионов терабайт существующих данных проиндексированы "только" 170 терабайт. То есть сегодня с помощью поисковых систем человек может получить доступ менее чем к 0,01% всей информации существующей в сети.

Так что, на ближайшие несколько столетий у Google работа найдется.

Динамика развития. Информация в интернете меняется очень динамично: информационные ресурсы появляются, пропадают, меняют свое местоположение или содержание очень часто. Так, ежемесячно изменяется около 40% информации, среднее время жизни половины страниц в Веб не превышает 10 дней, а объем всей информации в сети увеличился в два раза за последние два года. Отметим, что при этом изменяется и используемая лексика.

Неструктурированность и избыточность. Принято считать, что Веб - это распределенный гипертекст. Однако это не совсем так. Гипертекст обычно подразумевает наличие концептуальной модели, которая накладывает ограничения согласованности на данные и гиперсвязи. В Веб это обычно не так даже для тех его частей, которые находятся под единым административным контролем.

Около 30% информации в Веб составляют точные или приблизительные копии других документов.

Неконтролируемое качество. Отсутствие редакторского контроля над публикуемой информацией в Веб обуславливает проблему с ее качеством - информация может быть некорректной (например, уже устаревшей), ложной, плохо сформулированной, содержать массу ошибок (опечаток, грамматических ошибок, ошибок оцифровки и т.п.). Так, по некоторым оценкам, одна опечатка встречается в среднем в каждых двухстах часто употребительных словах или в трех иностранных фамилиях.

В Веб изменяется и понятие ``типичного пользователя''. Отметим следующие отличия:

Плохие'' запросы. Никто толком не обучает пользователей ИПС для Веб формулировать запросы, и, как следствие, очень мало пользователей используют расширенные возможности поиска, такие как логические выражения.

Более того, типичные запросы очень коротки - более 60% поисковых запросов в Веб состоят из 1-2 слов, что сильно отличается от 7-9 слов в классических ИПС.

Разнородный контингент. Разнообразие в знаниях, потребностях и ожиданиях пользователей очень велико. Большинство же пользователей классических ИПС обычно имеет много общих черт.

Поведение. Пользователь не готов долго ждать результата и не готов даже искать его в предоставленной системой выборке. Так, 58% пользователей не идут дальше первого экрана, а 67% не предпринимают попыток модифицировать свой первоначальный запрос

Как следствие, меняется представление о критериях эффективности поиска. Например, традиционно популярный критерий полноты, т.е. процента обнаруженных релевантных документов, малополезен для оценки эффективности систем поиска для Веб.