Информационно-поисковый язык

Автоматизация процесса информационного поиска потребовала создания информационно-поисковых языков.

Информационно-поисковый язык (ИПЯ) – это специально созданный искусственный язык, предназначенный для выражения содержания документов и запросов или описания фактов с целью их последующего поиска. ИПЯ создается на базе естественного языка, однако отличается от него компактностью, наличием четких грамматических правил и отсутствием семантической неоднозначности. Основными требованиями, предъявляемыми к ИПЯ, являются следующие:

• однозначность: каждая запись на ИПЯ должна иметь только один смысл, одно толкование, а любое понятие, смысл должны получить единообразную запись средствами ИПЯ;

• достаточная семантическая сила: способность отражать с необходимой полнотой и точностью смысловое содержание документов и запросов определенной предметной области;

• открытость: обеспечение возможности корректировки языка.

Каждый ИПЯ состоит из лексики (словарного состава), базисных (аналитических) отношений, грамматики, системы обозначений (алфавита), системы ведения (изменения и дополнения), правил образования и интерпретации.

Все ИПЯ принято условно делить на классификационные и дескрипторные. Принципиальная разница между данными типами языков заключена в процедуре построения предложений (фраз) языка.

В ряде языков в их лексический состав наряду со словами, выражающими простые понятия, заранее включены также словосочетания и фразы, выражающие сложные понятия. Для записи смыслового содержания сообщений из таких ИПЯ используются только отдельные элементы из этого набора, в том числе и готовые сложные понятия. Фактически построение сложных синтаксических конструкций заменяется выбором соответствующего сложного понятия из готового набора. Например:

Политика. Внутренняя. Федеральная.

Политика. Внутренняя. Региональная.

…

Политика. Внешняя…

Таким образом, с помощью таких языков производится классификация сообщений, то есть отнесение их к классам, обозначенным лексическими единицами (ЛЕ) ИПЯ. Поэтому они получили название классификационных.

В основе ИПЯ классификационного типа лежит систематическая классификация понятий, то есть классификация, отражающая смысловые отношения между понятиями.

Классификацией называется распределение понятий (предметов или отношений) по классам на основании общего признака, присущего одним понятиям и отличающего их от других понятий. В классификации каждый класс имеет постоянное, определенное место относительно других классов.

В основе классификации лежит деление понятий (предметов или отношений) на группы, которое носит относительно устойчивый характер. Признак, по которому производится распределение понятий, называется основанием деления. В классификациях непосредственно подчиняющее понятие называют родом, непосредственно подчиненное – видом по отношению к роду (родовому понятию). Такие отношения называют родовидовыми или иерархическими.

Иерархические классификации используются для систематизации литературы и для ее поиска по систематическим каталогам в библиотеках. Для каждого предмета или темы в библиотечных системах предусмотрен соответствующий раздел или рубрика, то есть для всех понятий определенной предметной области, включающих разное число признаков, необходимо в классификационной таблице иметь перечень классов или подклассов. Рубрикатор является частным случаем классификационного ИПЯ.

Кроме иерархических классификаций используются так называемые фасетные классификации. В их основу положено два принципа: разделение одного и того же множества предметов и явлений по разным основаниям, то есть выделение нескольких иерархических деревьев для одного и того же множества (категорий, фасетов); образование сложных индексов путем соединения простых индексов, фиксируемых в иерархических деревьях.

В отличие от иерархических, в фа сетных классификациях кроме основного деления на ряд классов осуществляется второе разбиение всего множества предметов и явлений по категориям или фасетам. Фасет – это признак или аспект одной категории, на основе которого группируются понятия в определенной отрасли знания. Внутри фасета устанавливаются иерархические отношения.

В связи с большой трудоемкостью разработки они могут быть созданы только для узких предметных областей. Примером использования фа сетной классификации является УДК – универсальная десятичная классификация.

К ИПЯ классификационного типа относятся также алфавитно-предметные классификации. В них классы понятий (предметов, фактов, сведений) расположены в алфавитном порядке их имен. Они предназначены для узко предметного поиска документов и фактов, главная тема или предмет которой обозначаются соответствующим предметным заголовком (рубрикой). Они применяются в основном для индексирования книг и периодических изданий, а также для составления каталогов к библиотечным фондам и указателей к систематическим каталогам.

Классификационные языки характеризуются одной особенностью: сложные понятия задаются заранее, до начала процедуры записи сообщений с помощью ИПЯ, образующие их слова также заранее связаны (скоординированы) определенными связями. Поэтому такие языки носят название предкоординируемых.

Все ИПЯ классификационного типа характеризуются рядом свойств, обуславливающих низкую эффективность и затрудняющих их использование в информационном поиске, особенно с применением технических средств. К таким свойствам относятся: предварительная координация (связь) слов и словосочетаний в рубрике, трудность обновления и дополнения, практическая невозможность полной и детальной разработки схемы классификации, трудоемкость использования при индексировании.

В языках дескрипторного типа лексические единицы заранее не связаны никакими текстуальными отношениями. Сложные синтаксические конструкции создаются в этих языках путем объединения (координации) ЛЕ во время процедуры представления смыслового содержания документов системы. Готовых фраз или предложений в таких языках нет, поэтому отсутствуют ограничения на составление сложных понятий. Такие ИПЯ носят название пост координируемые, поскольку координация между словами предложения возникает во время его записи.

ИПЯ дескрипторного типа начали появляться в США в начале 50-х гг. Дескриптор произошел от слова dtscribe – описывать. В их основе лежит алфавитный перечень слов или словосочетаний. Содержание документов и запросов с помощью ИПЯ дескрипторного типа выражается в виде некоторого множества слов и словосочетаний естественного языка, являющихся своеобразными их координатами в некотором пространстве предметно-тематических признаков. В связи с этим дескрипторные ИПЯ называют языками координатного индексирования.

В качестве лексических единиц в ИПЯ дескрипторного типа можно использовать значимые информативные слова, выбираемые непосредственно из индексируемых текстов. Такие слова и словосочетания называются ключевыми.

Простейшим ИПЯ дескрипторного типа является язык, в котором словарь задан алфавитным перечнем ключевых слов без учета синонимии и различных отношений между словами.

Одной из первых ИПЯ дескрипторного типа была система “Унитерм”, разработанная в 1952 году американским логиком и документалистом Мортимером Таубе. В этой системе был реализован предложенный им принцип координатного индексирования. Он представляет собой такой метод анализа информационного содержания документов, при котором поиск их осуществлялся путем логических операций умножения, сложения и дополнения, выполняемых над введенными в хранилище кодами. Термин “координация” относился при этом не к геометрическим осям координат, а к логической координации.

В системе “Унитерм” в качестве индексов, описывающих содержание документов и запросов и координируемых при поиске, использовались ключевые слова, выбранные из их текстов, называемые унитермами. Ключевыми словами предлагалось считать отдельные слова и простые словосочетания. Выбранные из текста унитермы (единичные термины) располагались в алфавитном порядке в специальной картотеке. Словарный запас при этом формировался непосредственно в процессе их использования, а не разрабатывался предварительно.

Такие ИПЯ открывали возможность для автоматического поиска. Они позволяли детально и многоаспектно раскрывать содержание любых документов; поскольку в них заранее не устанавливались никакие связи между ключевыми словами, они легко обновлялись и дополнялись, так как в алфавитный перечень ключевых слов можно было включить любое слово, встретившееся в тексте документа или запроса и необходимое для индексирования.

Однако унитермные ИПЯ не устраняли основные недостатки естественных языков: неоднозначность слов и неформализованность связей. Поэтому возникала необходимость в лексикографическом контроле за ключевыми словами. Он осуществлялся с помощью специального нормативного словаря или информационно-поикового тезауруса. Структура таких тезаурусов достаточно сложна. Она включает в себя массив лексических единиц, словник, словарные статьи и указатели.

ИПЯ, содержащий в себе информационно-поисковый тезаурус был создан под именем СИНТОЛ в 1960-62 гг.

Основные тенденции развития ИПЯ направлены на их сближение с естественными языками. Можно также отметить работы по сопряжению традиционных библиотечно-библиографических классификаций с ИПЯ дескрипторного типа.