4.4.3.2. Методы, основанные на обучении по примерам

Системы автоматического рубрицирования, основанные на обучении по примерам, рассматривают в качестве понятий, которым нужно обучиться, руб­рики. Машинное обучение производится на основе примеров текстов, которые были заранее отрубрицированы экспертом вручную.

Можно выделить статистические и нейросетевые методы рубрицирования.

Идея статистического рубрицирования состоит в определении степени со­ответствия терминологического портрета документа и терминологического портрета рубрик на основе статистических характеристик субъектов сравне­ния. Под терминологическим портретом документа понимают совокупность наиболее важных терминов, содержащихся в тексте документа. В качестве показателя важности термина в документе чаще всего используется частота его встречаемости. Под терминологическим портретом рубрики понимается на наиболее характерных для этой рубрики терминов с их весами (в работах статистическим моделям рубрицирования под терминологическим портретом рубрики часто понимается множество ее характеристических терминов и частоты их встречаемости в рубрике). Таким образом, семантика рубрики задается однозначно только ее терминологическим портретом.

Отметим, что терминологический портрет можно рассматривать как частный случай тезауруса, имеющего более простую модель и допускающего его автоматическое построение и корректировку.

Формирование терминологических портретов каждой рубрики произвол экспертом не вручную, а с помощью одной из технологий обучения рубрикатора. При этом роль эксперта сводится к формированию для каждой рубрики обучающей выборки - совокупности максимально коротких фрагментов текст содержащих полное и минимально избыточное лингвистическое наполнение одной обучаемой рубрики.

Выделение характеристических терминов для рубрики производится автоматически, на основе их весов, которые могут быть получены в процессе анализа обучающей выборки. Например,

W _tr = log Nr / df _tr ,

где N_r - количество документов в обучающей выборке, принадлежали рубрике r, df _tr-количество документов в обучающей выборке, принадлежащий рубрике r и содержащих термин t. Список характеристических терминов рубрики упорядочен по убыванию весов терминов в ней.

Таким образом, единую модель для всех рубрик одного рубрикатора можно представить в виде двухмерной матрицы весов {w_tk}. Рубрицирование выполняется по некоторому решающему правилу, учитывающему как важность терминов в документе, так и их веса для рубрик. Например, можно считать, что документ принадлежит рубрике r, если

Σ tf _t w _tr > k_r ,

t

где tf_t- частота встречаемости термина t в документе, k_r - пороговое значение для рубрики r. Значение левой части указанного выражения может использовать­ся в качестве количественной оценки релевантности документов рубрикам.

Пороговые значения для каждой из рубрик определяются таким образом, что­бы при применении решающего правила ко всей обучающей выборке к данной рубрике было отнесено максимальное количество релевантных и минимальное количество не релевантных ей текстов. Вычисление может производиться как при помощи различных математических методов, так и эмпирическим путем. К достоинствам такого подхода относятся:

• простота определения семантики рубрики, что дает возможность организовать автоматическое обучение рубрик;

• универсальность подхода, заключающаяся в том, что таким способом может быть определена семантика очень широкого класса рубрик из лю­бой предметной области;

• наличие аппарата количественной оценки релевантности документов рубрикам;

• высокое быстродействие.

Главным недостатком данной группы методов является более низкое по сравнению с методами, основанными на знаниях, качество рубрицирования.

Основой нейросетевых методов рубрицирования текстов является исполь­зование нейронной сети (НС) в качестве обучаемого классификатора. Считает­ся, что в наличии имеется подборка примеров текстов, каждый из которых помечен как релевантный или нерелевантный определенной рубрике. Задача НС, обученной на этих примерах, состоит в определении степени релевантности любого нового текста данной рубрике.

Данный подход предполагает, что семантика рубрики однозначно задается примерами принадлежащих ей текстов.

Поскольку НС оперирует векторами, для представления текста использует­ся одна из векторных моделей, например [19]:

V d_i T

(t₁,..., t_D) : t_i =

0 d_i T, i=1,D, a v=1/√N

г де D - мощность словаря;

d_i - лексическая единица из словаря;

T - текст, рассматриваемый как неупорядоченное множество лексических единиц;

N - количество d_i Т.

Поскольку обучающая выборка состоит из примеров с заранее известной принадлежностью текстов рубрикам, то имеет смысл использовать НС, в кото­рых реализована парадигма обучения с учителем. Так, в [19] предлагается ис­пользовать вероятностную нейросеть (ВНС). НС имеет В входов и 2 выхода, один из которых отражает вероятность принадлежности предъявляемого тек­ста к классу релевантных запросу текстов (Ррел), другой - к классу нерелеван­тных. На практике имеет смысл использовать лишь первый, поскольку сумма значений на выходах равна 1. Схематично описываемый процесс представлен на рис. 4.4 и рис. 4.5.

Выделение лексических единиц

Преобразование в векторное представление

Обучение ВНС

Лингвистический процессор

ВНС

Выделение лексических единиц

Преобразование в векторное представление

Класси-фикация

Лингвистический процессор

ВНС

Рис. 4.5. Определение вероятности релевантности текста рубрике

Словарь рубрики могут составлять как простые, так и составные термины. Его формирование производится так же, как и в статистических методах, с лишь разницей, что веса терминов в дальнейшем не используются.

По качеству рубрицирования нейросетевые методы рубрицирования занимают среднее положение между статистическими методами и методами, основанными на знаниях.

К основным недостаткам нейронных сетей чаще всего относят два факта:

1. Экспертам непонятно, как нейронная сеть работает.

2. На обучение сети требуется очень много времени.

Однако, ВНС выгодно отличается тем, что имеет:

1. строгое математическое обоснование (по сути ВНС представляет собой оптимальный по Байесу классификатор);

2. огромное (в тысячи раз большее) по сравнению с другими нейросетевыми парадигмами быстродействие.

Кроме того, характер решаемой задачи позволяет существенно оптимизировать ВНС, а также устранить зависимость объема вычислений от мощности словаря [19]. Этот факт позволяет полностью отказаться от усечения сло­варя, опасного тем, что в ходе его могут быть отброшены существенные для _классификации термины. В целом, выбор данной нейросетевой парадигмы позволяет свести к минимуму указанные недостатки.