Часть 1

ОСНОВНЫ Е ПОНЯТИ Я

1.1. Лингвистика. Язык

Лингвистика как наука о закономерностях строения и раз­

вития естественного языка. Понятие теоретической и при­

кладной лингвистики. Соотношение прикладной и компью­

терной лингвистики.

Язык как знаковая система. Понятие естественного и ис­

кусственного языка. Виды искусственных языков.

Изучение возможностей применения информационных техноло­

гий в лингвистике предполагает знание основных понятий соответ­

ствующей области знания, среди которых можно выделить понятия

из сферы лингвистики (язык, лингвистика, компьютерная лингви­

стика и т.п.) и информатики (информация, алгоритм, модель и др.).

Знакомство с этими понятиями начнем с лингвистических терми­

нов, характеризующих непосредственную профессиональную об­

ласть деятельности лингвистов, преподавателей иностранных язы­

ков и переводчиков.

Лингвистика (или языкознание) традиционно понимается как

наука о естественном человеческом языке [9, 28]. Лингвистов зани­

мают вопросы строения языка (выделение в нем фонетического,

лексического, грамматического уровня и уровня текста), социально­

го варьирования языка, вопросы порождения и понимания языковых

высказываний, принципы функционирования языка в обществах

разных типов, происхождения и развития языка и другие его аспек­

ты [13, 618—622].

В зависимости от изучаемого аспекта языка, национальной тра­

диции и научной методологии выделяются различные разделы линг­

вистики, например структурная лингвистика, социолингвистика,

психолингвистика и т.п.

Чтобы определить раздел лингвистики, наиболее тесно связан­

ный с использованием информационных технологий, целесообразно

обратиться к разграничению теоретической и прикладной лингви­

стики.

Теоретическая (или фундаментальная) лингвистика — это об­

ласть языкознания, направленная на объективное установление со­

стояния отдельного языка, его истории и закономерностей. Эта

область лингвистики призвана ответить на вопрос «Каков язык?»

[37,214—215].

Прикладная лингвистика развивается с конца 20-х годов XX в. и

является областью языкознания, связанной с разработкой методов

решения практических задач использования языка [13, 397]. При­

кладная лингвистика отвечает на вопрос «Как лучше использовать

язык?».

Следует отметить, что в России и за рубежом сложились разные

интерпретации понятия прикладной лингвистики. Если за рубежом в

1930—1940-е годы под прикладной лингвистикой {AppliedLinguistics)

прежде всего понимается процесс обучения иностранному языку,

методика его преподавания, особенности описания грамматики для

учебных целей, то в России начиная с 1950-х годов, прикладная линг­

вистика ассоциируется с компьютерными технологиями и автомати­

ческими системами обработки информации [4, 6]. В связи с этим в

русскоязычной научной традиции прикладная лингвистика нередко

рассматривается как синоним компьютерной / вычислительной / ав­

томатической / инженерной лингвистики.

На современном этапе развития науки в рамках прикладной

лингвистики выделяется несколько направлений по оптимизации

использования языка, которые объединяются исследователями в две

большие группы: традиционные («вечные») и новые.

К традиционным направлениям и соответствующим задачам

прикладной лингвистики относятся:

• создание и совершенствование письменностей;

• создание систем транскрипции устной речи;

• создание систем транслитерации иноязычных слов;

• создание систем стенографии;

• создание систем письма для слепых;

• упорядочение, унификация и стандартизация научно-техниче­

ской терминологии;

• изучение процессов и создание правил образования названий но­

вых изделий, товаров, химических веществ;

• разработка методов адекватного преобразования текстов в ино­

язычную форму (перевода);

• совершенствование методики преподавания языков и др. [13,397].

Новыми задачами прикладной лингвистики считаются:

• разработка лингвистических основ машинного перевода;

• автоматическое индексирование и аннотирование документов;

• автоматический анализ текстов;

• автоматический синтез текстов;

• создание словарей-тезаурусов для автоматического поиска инфор­

мации и др. [ср. 36].

Именно те области прикладной лингвистики, которые связаны с

привлечением компьютеров для решения практических задач ис­

пользования языка, являются предметом компьютерной лингвисти­

ки, оформившейся в 1960-е годы как особое научное направление.

Компьютерную лингвистику можно определить как область ис­

пользования компьютерных инструментов — программ, технологий

организации и обработки данных — для моделирования функциони­

рования языка в тех или иных условиях, а также сферу применения

компьютерных моделей языка в лингвистике и смежных с ней дис­

циплинах [4, 13].

В связи с тем, что язык представляет собой весьма сложное об­

разование, в компьютерной лингвистике сложились и развиваются

различные направления, примерно сопоставимые с отдельными

уровнями языка, с процессами порождения и восприятия языковых

сообщений или другими видами человеческой деятельности, связан­

ной с языком. Соответственно, к направлениям компьютерной линг­

вистики относятся:

• автоматический анализ текстов;

• автоматический синтез текстов;

• создание и поддержка автоматических словарей;

• создание автоматизированных информационно-поисковых си­

стем;

• машинный перевод;

• создание автоматических систем обучения языку;

• автоматическая атрибуция и дешифровка анонимных текстов;

• создание лингвистических баз данных;

• разработка программных инструментов для решения задач тео­

ретической и прикладной лингвистики и т.д. [20; 53 и др.].

Лингвистика в целом и компьютерная лингвистика в частности

имеют дело с языками различного типа и их отдельными уровнями.

Язык в наиболее общем виде определяется как знаковая система,

используемая для общения в некотором социуме [13, 604; 29, 5].

Различают естественные и искусственные языки. Естественный

язык — это исторически сложившаяся и используемая в определенной

этнической группе или национальном государстве знаковая система.

Примерами естественных языков выступают русский и английский

(принадлежащие к индоевропейской языковой семье) или финский и

эстонский (принадлежащие к финно-угорской языковой семье).

Искусственные языки представляют собой знаковые системы,

искусственно создаваемые в тех областях, где применение есте­

ственных языков менее эффективно или невозможно. Среди искус­

ственных выделяются неспециализированные (или международные)

языки (эсперанто, волапюк и др.) и специализированные языки. К по­

следним относятся языки науки (математики, логики, химии и т.д.,

создание которых началось в XV I в.) и языки человеко-машинного

общения (получающие распространение в специальных областях

человеческой деятельности, связанной с облегчением диалога чело­

века и компьютера, начиная с 1940-х годов) [13, 201—202].

Примеры языков человеко-машинного общения простираются

от простейших систем символического кодирования (ассемблеров)

до специализированных языков программирования (С++, Java,

Python, ErLang и др.). К 1980-м годам в мире насчитывалось около

500 языков программирования [13, 202]. В настоящее время активно

используется примерно столько же, хотя общее количество извест­

ных языков программирования достигает нескольких тысяч [55].

Эти факты свидетельствуют об остроте проблемы человеко-машин­

ного общения и о множестве подходов к ее решению.

Подводя итог разделу, констатируем, что лингвистикой следует

считать науку о закономерностях происхождения, строения и функ­

ционирования естественного человеческого языка. Предметом линг­

вистики и компьютерной лингвистики как ее особого раздела высту­

пает язык — знаковая система, используемая с различными целями.

Вопросы для обсуждения

1. Что такое лингвистика? Назовите ее разделы. В каком разделе лингвистика

имеет дело с информационными технологиями?

2. Можно ли считать синонимами прикладную и компьютерную лингвисти­

ку? Аргументируйте свой ответ.

3. Перечислите основные направления компьютерной лингвистики. Расска­

жите об одном из направлений.

4. Сравните разные определения языка. Выделите в них ключевые слова. Со­

ставьте на основе повторяющихся ключевых слов свое определение языка.

5. Подумайте, с естественным или искусственным языком имеет дело ком­

пьютерная лингвистика?

6. Какие виды естественных и искусственных языков вам известны? Приве­

дите примеры естественных и искусственных языков разных видов.

Рекомендуемая литература

1. Баранов А.Н. Введение в прикладную лингвистику: учеб. пособие. 3-е изд.

М.: ЛКИ, 2007. С. 6—8, 20.

2. Беляева Л.Н. Лингвистические автоматы в современных гуманитарных

технологиях: учеб. пособие. СПб.: Книжный Дом, 2007. С. 36—40.

3. Большой энциклопедический словарь. Языкознание. М.: Большая Россий­

ская энциклопедия, 1998. С. 201—202; 604—606, 618—622.

4. Всеволодова А.В. Компьютерная обработка лингвистических данных:

учеб. пособие. 2-е изд., испр. М.: Флинта: Наука, 2007. С. 63—64.

5. Зубов А.В., Зубова И.И. Информационные технологии в лингвистике:

учеб. пособие. М.: Академия, 2004. С. 5—7.

Упражнения

1. Определите статистические показатели приведенного ниже текста сме­

шанного языкового типа.

Проекты Cibola/Oleada реализуют обширные компьютерные системы линг­

вистического анализа текстов, представленных в Unicode. Компоненты системы

включают средства работы с мультиязыковыми текстами (MUTT), построения кон­

корданса (XConcord) для текстов на более чем 16 языках, статистического анализа,

автоматического перевода, различные словари и тезаурусы. Некоторые версии этих

компонентов доступны для бесплатной загрузки после процедуры формальной ре­

гистрации. Все компоненты реализованы в среде XI I Window System для SunOs и

Solaris (источник: Проекты Cibola/Oleada http://rvb.ru/soft/catalogue/c01.html).

Слов

Символов (без пробелов)

Символов (с пробелами)

Символов в латинской графике

Чисел

Средняя длина слов

2. Какому языку соответствует средняя длина слов текста смешанного типа,

приведенного в задании 1? Для выполнения задания вычислите среднюю

длину слов русского языка из приведенного текста и среднюю длину слов

в латинской графике.

3. Определите, каким языкам соответствуют следующие специфические бук­

вы, буквосочетания и слова:

а) 0 б В р со ёis,

б) th sch sc.

в) et, the, der, och, icin.

4. Создайте диагностический словарь для определения языка на материале

текстов на двух разных языках (на ваш выбор). Для этого заполните сле­

дующую таблицу.

Таблица

Критерий Язык 1: Язык 2:

Типичные артикли

Указательные местоимения

Окончание таблицы

Критерий Язык 1: Язык 2:

Местоимения 3-го лица

Отдельные формы

вспомогательных глаголов

Основные предлоги и союзы

Другие частотные слова

Дополните таблицу встречаемости букв в распространенных европейских

языках [Всеволодова 2007: 64], добавив в нее данные по русскому языку.

Используйте для этого любой текст на русском языке объемом не менее

100 символов.

Прочитайте несколько фраз на эсперанто. Назовите морфологические диа­

гностические показатели этого языка, учитывая, что существительные и

прилагательные на эсперанто всегда имеют одни и те же окончания.

Рус. Эсперанто

зеленое дерево verda arbo

старый человек maljuna viro

хороший друг bela amiko