2 Алгоритм извлечения данных
2.1 Выбор дескрипторов
На основе данных о классификации лингвистических дескрипторов производится расчет целесообразности выбора тех или иных его вариантов с учетом требований к системе, по каждому выбранному классу дескрипторов в различных классификациях.
Также учитываетсяобщее соотношение слов распределенных для каждой из категорий,выбранных подклассов дескрипторов.
Четыре основныевида классификации («Части речи», «Метафоры-физические-психические», «Конкретные-диффузные», «Частотность»). Выделены следующие классы (категории) (в скобках указано общее процентное разделение по категориям дескрипторов каждого класса):
Классификация «Части речи»:
существительные (60%);
глаголы (13,75%);
наречия (6,25%);
прилагательные (16,25%);
причастия (3,75%).
Классификация «Метафоры-физические-психические»:
метафоры (13,75%);
физические (51,25%);
психические (35%).
Классификация«Конкретные-диффузные»:
конкретные (55%);
диффузные (45%).
Классификация «Частотность»:
высокочастотные дескрипторы (60%);
среднечастотные дескрипторы (22,5%);
низкочастотные дескрипторы (17,5%).
На основе данной классификации, соотношения числа дескрипторов и возможностей добычи их из неструктурированной текстовой информации,делаются выводы что для повышения точности классификации:
рациональней всего использовать существительные;
дескрипторы должны быть конкретными терминами обозначающими объекты материального или нематериального мира;
нужно использовать два классификатора по частотной встречаемости видов дескрипторов: высокочастотные и низкочастотные дескрипторы;
выгодна, также, оптимизация использования классификатора на основе низкочастотных дескрипторов.
Среди языковых структур наиболее подходящей требованиям структурой есть аббревиатуры.
Аббревиатуры – это существительные, состоящие из усеченных слов, входящих в исходное словосочетание, или из усеченных частей исходного сложного слова, а также из названий начальных букв этих слов (или их частей)[9].
Аббревиатуры являются низкочастотными дескрипторами которые легко получить их текстов. И классификация на их основе дает максимально точный результат, при условии что в классифицируемом тексте они наличествуют. Следовательно классификатор на основе Аббревиатур имеет смысл использовать только в этих случаях.
В случае, если в текстах отсутствуют аббревиатуры, лучше всего использовать высокочастотные дескрипторы, для максимального охвата всего массива текстовой информации. Для качественной классификации текстов на основе выделенных дескрипторов необходимо прибегнуть к предварительной его очистке от шумов.
2.2 Предварительная обработка данных
Стоп-слова – это слова, без которых не возможно построение полноценного смыслового текста и которые не несут смысловой нагрузки. Иначе их называют также шумовые слова. К ним причисляют:
союзы и союзные слова;
местоимения;
предлоги;
частицы;
междометия;
указательные слова;
цифры;
знаки препинания;
отдельно стоящие буквы алфавита;
вводные слова.
Для повышения точности классифицирования с применением очистки от стоп-слов необходимо разбить их на подгруппы и выделить каждой группе свой символ. И вместо удаления стоп-слов делать замену стоп-слов на групповой символ, тем самым давая дополнительный качественный фактор для классификации[10].
Выгодней всего начать чистку с универсальных символов, встречающихся во всех языках: цифр и знаков препинания, выделяя их в две отдельные группы.
В дальнейшей чистке стоп-слов возникают языковой барьер и барьер по специализации. Поэтому в данном случае лучше всего предоставить пользователю выбрать те стоп-слова, которые актуальны ему самому, выделяя каждый подключаемый файл со стоп-словами, который является отдельной группой и обозначается специфическим символом.
2.3 Анализ входных документов
Для получения данных для классифицирующей системы был разработан следующий алгоритм получения дескрипторов из текста, изображенный на рисунке 2.1.
Рисунок 2.1 – Блок-схема алгоритма получения дескрипторов из текста
Для классификации тектовых документов необходимо скапливать дескрипторы разных видов в верхнем супер классе, для обеспечения доступа к списку всех уникальных дескрипторов при классификации документа. Алгоритм реализации изображен на рисунке 2.2.
Рисунок 2.2 – Блок-схема алгоритма сбора дескрипторов в библиотеке