Часть 3

ПРИКЛАДНЫ Е РАЗДЕЛ Ы

КОМПЬЮТЕРНО Й ЛИНГВИСТИК И

3.1. Корпусная лингвистика

Корпусная лингвистика как раздел прикладной лингви­

стики. Понятие корпуса, разметки. Виды корпусов. Требова­

ния к корпусам.

Одной из важных задач лингвистики является сбор и хранение

источников фактического материала для лингвистических исследо­

ваний. В настоящий момент для решения этой задачи используются

большие собрания текстов самой разной функциональной направ­

ленности, которые удобно хранить в электронном виде. Привлечение

компьютеров и специальных телекоммуникационных сетей позволя­

ет не только сохранять большие объемы текстов в электронном виде,

но и осуществлять поиск по ним, обрабатывать их и т.п. Задача соз­

дания собраний текстов в электронном виде, или корпусов, является

настолько значимой для современной лингвистики, что эти собрания

электронных текстов становятся объектом исследований специаль­

ного раздела прикладной лингвистики — корпусной лингвистики.

Корпусная лингвистика — раздел прикладной лингвистики, за­

нимающийся разработкой общих принципов построения и использо­

вания лингвистических корпусов при помощи компьютеров [18, 3].

Исходя из такого определения можно констатировать, что кор­

пусная лингвистика включает два аспекта:

1) создание корпусов текстов с автоматическими инструментами

их использования;

2) разработка способов экспериментальных исследований различ­

ных уровней языка на базе корпусов разных типов [47].

Современные исследователи-лингвисты могут как создавать

свои собственные корпусы, а затем проводить необходимые иссле-

дования на их базе, так и использовать общедоступные корпусы,

созданные другими исследователями и их коллективами.

Кроме проведения научных исследований корпусы могут ис­

пользоваться [20, 166—167; 30, 60]:

1) в лексикографии для создания словарей, определения значения

многозначных слов и т.д.;

2) в грамматике для определения частоты морфем, типов словосо­

четаний и предложений и т.д.;

3) в лингвистике текста для дифференциации типов текста, выявле­

ния связей внутри абзаца и между абзацами и т.д.;

4) в автоматическом переводе текстов для поиска контекстов слов,

имеющих несколько переводных эквивалентов, поиска перево­

дных эквивалентов в параллельных текстах и т.д.;

5) в учебных целях для выбора цитат, фрагментов произведений,

примеров для организации учебных занятий, создания учебных

пособий и т.д.

6) в тестировании программ автоматического анализа и синтеза

речи и т.д.

Центральное понятие корпусной лингвистики — лингвистиче­

ский корпус — определяется как совокупность специально отобран­

ных текстов, размеченных по различным лингвистическим параме­

трам и обеспеченных системой поиска. Таким образом, корпус мож­

но кратко охарактеризовать следующим образом:

Корпус = тексты + их разметка.

В более широком смысле корпусом считается любое собрание

текстов. В этой трактовке выделяются размеченные (аннотирован­

ные) и неразмеченные корпусы текстов. В качестве подобных нераз­

меченных корпусов можно рассматривать существующие электрон­

ные коллекции текстов: виртуальные библиотеки, архивы электрон­

ных версий периодических изданий или новостных лент, которые

оказываются достаточными для некоторых исследовательских и

учебных целей. Но использование неразмеченных собраний текстов,

имеющих инструменты поиска, повышает долю информации, кото-

рая может оказаться нерелевантной для исследователя, что значи­

тельно затрудняет работу с таким источником. В связи с этим пред­

метом корпусной лингвистики являются преимущественно разме­

ченные корпусы текстов.

Первым этапом в создании корпуса является отбор текстов. При

этом следует продумать, тексты каких функциональных стилей и кон­

кретных жанров, какого года издания и в каком количестве будут вклю­

чены в корпус. При отборе текстов в корпус следует ориентироваться

на следующие требования к созданию корпусов [4, 118—119, 47]:

1) репрезентативность (частота явления в корпусе должна соот­

ветствовать его частоте в естественном языке);

2) полнота (явление должно включаться в корпус, даже если его

появление не соответствует идее репрезентативности);

3) достаточный объем (если первые корпусы достигали миллиона

слов, то объем современных корпусов исчисляется сотнями мил­

лионов и миллиардами, например, объем корпуса английского

языка Bank of English превышает 2,5 млрд слов);

4) экономичность (корпус текстов должен экономить усилия ис­

следователя при изучении проблемной области, т.е. быть не про­

сто строгим подмножеством текстов проблемной области, но, по

возможности, быть наиболее «экономичным»);

5) структуризация материала (в корпусе должны быть выделены

адекватные корпусу единицы хранения);

6) компьютерная поддержка (поддержка корпуса текстов комплек­

сом программ по обработке данных, обеспечивающих выявле­

ние контекстов слова, статистическую инвентаризацию, автома­

тическую словарную обработку и т.д.).

Важным этапом создания корпуса является его разметка. Раз­

метка (англ. tagging, annotation) — это приписывание текстам и их

компонентам специальных меток (англ. tag). Эти метки могут быть

внешними (экстралингвистическими), включающими сведения об

авторе и о тексте, или внутренними: структурными или собственно

лингвистическими. Внешние метки содержат сведения об авторе,

названии текста, годе и месте издания, жанре, тематике. Сведения

об авторе могут включать не только его имя, но также возраст, пол,

годы жизни и многое другое. Это кодирование информации имеет

название метаразметка. Структурные метки несут информацию о

статусе каждой единицы (глава, абзац, предложение, словоформа),

а собственно лингвистические описывают лексические, граммати­

ческие и прочие характеристики элементов текста [18, 6].

В соответствии с уровнем лингвистического описания различа­

ют морфологическую (определение части речи и морфологических

категорий), синтаксическую (определение синтаксических связей),

семантическую (категории, характеризующие значение слова), ана­

форическую (характеристика референтных связей, например, место­

имений), просодическую (характеристика ударения и интонации),

дискурсную (обозначение пауз, повторов, оговорок устной речи) и

некоторые другие виды разметки [18, 6—7].

В частности, предложение Этой весной опять расцвела акация

может быть размечено следующим образом:

Этой — МЖЕТ21 весной — СЖЕТ22 опять — Н22 расцвела —

ГЖЕПЗЗ акация — СЖЕИЧ42

Первый индекс указывает на часть речи (М — местоимение, С —

существительное, Н — наречие, Г — глагол), второй обозначает род,

третий — число, четвертый — падеж или время (у глагола), первая

цифра указывает на число слогов, а вторая — на ударный слог [20, 170].

Для разметки корпуса сообщений Твиттера при проведении

международного исследовательского проекта по изучению данного

жанра (Ганновер, 2010) нами были использованы, в частности, сле­

дующие виды меток: <STDS> (стандартное написание), <KOKS>

(использование только строчных букв), <KOGS> (использование

только прописных букв), <GDOP> (удвоение графем), <GAUS> (вы­

падение графем), <GZUV> (написание лишней графемы) и т.д.

В зависимости от характера собранных в корпусе текстов, от их

разметки и некоторых других факторов различают следующие виды

корпусов (табл. 2).

Наиболее важным видом корпусов является универсальный наци­

ональный корпус, создаваемый для разных национальных языков.

Создание и расширение универсальных национальных корпусов пред­

ставляет собой одну из важнейших задач корпусной лингвистики.

Классификация корпусов [18,13]

№ Признак Виды корпусов

1 Форма хранения звуковые

письменные

смешанные

2 Язык текстов русский

английский и т.д.

3 «Параллельность» одноязычные

двуязычные

многоязычные

4 Стиль литературные

диалектные

разговорные

публицистические

терминологические

смешанные

5 Способ доступа свободно доступные

коммерческие

закрытые

6 Разметка размеченные

неразмеченные

7 Характер разметки морфологические

синтаксические

семантические

просодические и т.д.

Универсальный национальный корпус — это собрание текстов

конкретного естественного языка, представительное по отношению

ко всему языку, которое может служить для исследования самых

разнообразных явлений этого языка.

Общепризнанный образец универсального национального кор­

пуса — Британский национальный корпус (BNC) (www.natcorp.ox.

ac.uk). Для русского языка таким представительным корпусом явля­

ется Национальный корпус русского языка (НКРЯ) (www.ruscorpora.

ru). Среди корпусов славянских языков выделяется Чешский нацио­

нальный корпус (http://ucnk.ff.cuni.cz), созданный в Карловом уни-

верситете Праги. Национальные корпусы существуют также для не­

мецкого, китайского, финского и других языков.

Одним из первых известных корпусов является Брауновский

корпус (Brown Corpus), созданный в 1963 г. в Брауновском универ­

ситете (США) для построения частотного словаря американского

варианта английского языка. Его объем составлял 1 млн слов. Соз­

датели корпуса (У. Френсис и Г. Кучера) разработали строгую про­

цедуру отбора текстов: в корпус вошли 500 фрагментов прозаиче­

ских текстов, созданных американскими авторами и напечатанных

в 1961 г., по 2000 словоупотреблений каждый. Тексты представляли

15 наиболее распространенных жанров информативной и художе­

ственной прозы [20, 169; 47].

Поиск в корпусе в соответствии с запросом пользователя обе­

спечивается с помощью специальных программ — корпусных ме­

неджеров. Корпусный менеджер (англ. corpus manager) — это специ­

ализированная поисковая система, включающая программные сред­

ства для поиска данных в корпусе, получения статистической

информации и предоставления результатов пользователю в удобной

форме [18, 3]. Результаты поиска обычно выдаются в виде конкор­

данса (поэтому корпусные менеджеры еще называют конкордансе-

рами), где искомая единица представлена в ее контекстном окруже­

нии с представлением частотных характеристик отдельных языко­

вых единиц, граммем и т.п.

Таким образом, корпус, представляющий собой размеченное со­

брание текстов с объемом слов не менее 100 млн, дает широкие воз­

можности как для прикладных (работа над принципами автоматиче­

ской разметки), так и для исследовательских целей.

Вопросы для обсуждения на семинарских занятиях

1. Что может являться единицей корпуса?

2. Как отбираются тексты для корпуса? Проиллюстрируйте принципы от­

бора на примере Брауновского и других корпусов.

3. Дополните классификацию корпусов, представленную в пособии. Поясни­

те, что означает «исследовательский корпус», «статический корпус», «па­

раллельный корпус».

4. Выберите один из корпусов из списка ниже и охарактеризуйте его по сле­

дующим критериям: количество словоупотреблений, вид корпуса (по раз­

ным признакам).

• Британский национальный корпус (www.natcorp.ox.ac.uk),

• Американский национальный корпус (www.americannationalcorpus.org),

• Банк английского языка (Bank of English) (www.collins.co.uk/Corpus/

Corpus S earch. aspx)

• Национальный корпус русского языка (www.ruscorpora.ru),

• Национальный корпус русского литературного языка (www.narusco.ru),

• Компьютерный корпус текстов русских газет конца XX века (www.

philol.msu.ru/~lex/corpus)

• Словарь-корпус языка А.С Грибоедова (www.inforeg.ru/electron/concord/

concord.htm)

• Корпус института немецкого языка в Мангейме (www.ids-mannheim.

de/kl/).

5. Составьте глоссарий по теме «Корпусная лингвистика». Используйте для

этого рекомендуемые источники литературы и сетевые ресурсы. Включите

в глоссарий определения следующих понятий: конкорданс, рандомизация,

коллокация, подмассив, парсинг, лемматизация, корпус-менеджер.

6. Найдите сетевые ресурсы по теме «корпусная лингвистика» и кратко оха­

рактеризуйте их.

Рекомендуемая литература

1. Баранов А.Н. Введение в прикладную лингвистику: учеб. пособие. 3-е изд.

М.: ЛКИ, 2007. С. 112—137.

2. Захаров В.П. Корпусная лингвистика: учебно-метод. пособие. СПб.: СПбГУ,

2005. С. 3—14.

3. Зубов А.В., Зубова И.И. Информационные технологии в лингвистике: учеб.

пособие. М.: Академия, 2004. С. 166—173.

4. Овчинникова И.Г., Угланова ИА. Компьютерное моделирование вербаль­

ной коммуникации: учебно-метод. пособие. М.: Флинта: Наука, 2009.

С. 60—76.

Лабораторная работа 10

1. Откройте веб-страницу Русского национального корпуса (РНК) (www.

ruscorpora.ru), Корпуса русского литературного языка (КРЛЯ) (www.

narusco.ru) и Британского национального корпуса (БНК) (www.natcorp.

ox.ac.uk). Введите в строку поиска этих корпусов слово русский /Russian.

Заполните таблицу.

РНК КРЛЯ БНК

Количество вхождений

Как вы можете прокомментировать полученные результаты?

2. Выпишите 3 любых контекста использования слова русский /Russian в трех

рассмотренных корпусах. Укажите источник каждого примера

№ примера РНК КРЛЯ БНК

1

2

3

3. Сравните морфологические характеристики выписанных слов (существи­

тельное/прилагательное) .

№ примера РНК КРЛЯ БНК

1

2

3

4. Сравните значение выписанных слов. Для этого посетите веб-страницы

толковых словарей www.gramota.ru/slovari и http://oxforddictionaries.com.

Определите, в каком значении рассматриваемое слово встречается в кон­

текстах. Впишите результат в таблицу.

№ примера РНК КРЛЯ БНК

1

2

3

5. К каким выводам вы пришли при сравнении морфологической и лексиче­

ской характеристики одного и того же слова, включенного в разные кор­

пусы?

6. Как можно использовать рассмотренные корпусы в лингвистическом ис­

следовании?