Часть 2

ОБЛАСТ И ПРИМЕНЕНИ Я

ИНФОРМАЦИОННЫ Х ТЕХНОЛОГИ Й

В ЛИНГВИСТИК Е

2.1. Автоматический анализ

и синтез звучащей речи

Этапы автоматического анализа речи. Ввод в компьютер

звучащей речи. Аналоговый и цифровой звуковой сигнал. По­

словный и пофонемный анализ речи. Программы обработки

звучащей речи и голосового управления компьютером. Мето­

ды автоматического синтеза речи.

Одним из первых важных шагов использования информацион­

ных технологий в лингвистике является дигитализация текстов —

переведение языкового материала, существующего в печатном или

устном виде, в цифровую форму. Именно в этом случае появляется

возможность привлечения компьютеров для выполнения определен­

ных операций над текстами на естественном языке: их преобразова­

ния, выделения их них отдельных элементов и создания (синтеза)

аналогичных текстов.

В связи с принципиальными различиями в способах дигитализа-

ции и обработки звучащей речи и печатных текстов в нашей работе

эти явления рассматриваются в разных параграфах. Первый пара­

граф посвящен вопросам автоматической обработки и синтеза зву­

чащей речи, а во всех последующих рассматриваются автоматиче­

ские операции, производимые над печатными текстами.

При автоматическом анализе звучащей речи она преобразуется

в печатный текст, над которым можно производить дальнейшие опе­

рации. Автоматический синтез звучащей речи представляет собой

обратный процесс преобразования печатного текста, существующе­

го в цифровой форме, в звучащий текст на естественном человече­

ском языке.

Процесс автоматического анализа речи включает следующие

этапы:

1) ввод звучащей речи в компьютер с помощью микрофона.

2) выделение компьютерной программой в звуковом потоке отдель­

ных знаков.

3) идентификация выделенных знаков звучащей речи со знаками

языка.

Минимальными знаками звучащей речи являются звуки, произ­

водимые артикуляторным аппаратом человека. Каждый звук имеет

свои акустические характеристики (высота, частота колебаний зву­

ковых волн и т.д.), которые можно измерить специальными прибо­

рами (например, осциллографом).

Параметры звукового сигнала непрерывно меняются, и такой

(непрерывный) тип сигнала называется аналоговым. В отличие от

аналогового, цифровой сигнал представляет собой набор дискрет­

ных (отдельных) числовых значений, фиксирующих разные уровни

звуковой волны. При использовании микрофона аналоговый звуко­

вой сигнал преобразуется в аналоговый электрический, который с

помощью аналогово-цифровых преобразователей, встроенных в

звуковые карты современных компьютеров, переводится в дискрет­

ный цифровой сигнал [49].

Первые устройства автоматического распознавания устной речи,

которых на сегодняшний день большинство, в качестве выделяемых

в речевом потоке знаков использовали не звуки, а слова. Слова вво­

димой в компьютер речи идентифицировались со словами, заранее

записанными диктором, читающим слова. Но такой тип распознава­

ния речи связан с определенными ограничениями:

• личность говорящего: автомат распознает речь только опреде­

ленного говорящего,

• запас слов: автомат распознает только ограниченное количество

слов,

• подготовленность речи: автомат распознает речь, лишь если она

подготовлена [25, 39].

Для преодоления этих ограничений требуется, чтобы компью­

терная программа распознавала не слова, а звуки, т.е. работала не с

дискретной речью (которая содержит паузы между словами), а со

слитной естественной человеческой речью.

В основе пофонемного распознавания звуков речи лежит анализ

1) длительности и динамики звучания, 2) чередования акустическо­

го сигнала и пауз. При этом на основе универсальной классифика­

ции звуков Гуннара Фанта, Морриса Халле и Романа Якобсона аку­

стические признаки звуков выводятся из артикуляционных. Правда,

акустические признаки в отношении к артикуляционным оказыва­

ются недостаточно универсальными. Кроме того, в этой теории не­

достаточно учитывается слогоделение, акцентуация и ритм (глав­

ные носители смысла) [25, 39].

В настоящее время наиболее доступной формой точной фикса­

ции звучащей речи (в том числе ее тембра и динамики) становится

спектрограмма — фотографическое изображение звуков. Результа­

ты наблюдений показывают, что в произнесении звуков активно ис­

пользуются четыре частоты называемые формантами. Так, на рис. 3.

изображены форманты русских звуков и и у. При переходе от звука

и к звуку j наиболее заметно изменение форманты F2 (рис. 3).

Задачей автоматического анализа звучащей речи при использо­

вании спектрограмм становится перевод спектрограмм в фонологи­

ческую транскрипцию [25, 41].

В итоге процесс автоматического анализа речи включает ввод

слов в компьютер через микрофон, начитанных разными дикторами,

их спектральную обработку и создание набора признаков, своео­

бразного образца слова, который выступает знаком языка. При рас­

познавании звучащей речи реальные признаки составляющих ее

единиц сравниваются с признаками и образцами слов, существую­

щими в памяти машины. Результатом сравнения является транс­

крипция или орфографическая запись слова.

Но при автоматическом анализе слитной речи дополнительную

трудность составляет отсутствие четких границ между словами. Че­

ловек для преодоления этой трудности кроме акустических сигналов

обычно использует самые разные другие источники информации: си­

туацию, контекст, структуру языкового высказывания, прошлый опыт

в данной области и т.п. Аналогичные правила ученые пытаются при­

менить и к машинам и стремятся задействовать в современных систе­

мах анализа речи кроме акустического другие уровни системы языка:

лексический, синтаксический, семантический, прагматический.

Включение семантического уровня в автоматический анализ

речи приводит, в частности, к следующим последствиям:

1) машина устанавливает, что введенные предложения многознач­

ны и правдоподобны;

2) машина прогнозирует, что в определенных речевых контекстах

могут возникать определенные типы общения; в зависимости от

такого прогнозируемого типа общения машина интерпретирует

предложение [35, 120].

Очевидно, что создание систем анализа речи такого сложного

уровня предусматривает сотрудничество представителей самых раз­

ных специальностей. Для экономии времени и усилий ученых и

практиков различные компании, в том числе Microsoft, выпускают

средства анализа и синтеза речи в виде программных модулей и ин­

терфейсов. Программисты, не обладающие познаниями в области

лингвистики, математики и биологии, могут использовать готовые

интерфейсы и программные модули в собственных разработках.

Правда, в этом случае речевые возможности программ будут огра­

ничены использованными средствами и технологиями. Например,

многие средства анализа и синтеза речи не способны работать с рус­

ским языком, что ограничивает их использование в России [49].

Можно назвать следующие примеры программ, в которых при­

меняются средства автоматического анализа речи:

• программы голосового управления компьютером и бытовой тех­

никой VoiceNavigator и Truffaldino (компания «Центр речевых

технологий», С.-Петербург);

• комплекс голосового управления мобильным телефоном DiVo

(«Центр речевых технологий»);

• программный модуль Voice Key для идентификации личности по

парольной фразе длительностью 3—5 секунд («Центр речевых

технологий»);

• программы диктовки текста на английском языке: VoiceType Dictation

(IBM), DragonDictate («Dragon Systems»); на русском язы­

ке: Комбат («Байт Груп») к Диктограф («Voice Member Technology)));

• система распознавания речи, встроенная в Microsoft Office ХР

(работает только с английским языком);

• голосовой поиск (например, в поисковой системе Google).

Так, программа VoiceNavigator позволяет запускать компьютер­

ные приложения и выполнять заданные команды голосом без ис­

пользования клавиатуры. Перед применением программы ее необ­

ходимо обучить, произнеся в микрофон слова команд (команды

можно произносить на любом языке и любым голосом). Чтобы про­

грамма начала распознавать голосовые команды, ее необходимо

«разбудить», произнеся ключевое слово [49].

Использование модулей распознавания речи весьма перспектив­

но в различных областях деятельности: в обслуживании клиентов,

проведении судебных экспертиз, биометрии, обучении, научных ис­

следованиях и т.д. Но массовое внедрение речевых технологий тор­

мозится высокой стоимостью разработок и предлагаемых техноло­

гий, а также их пока еще низким качеством.

В целом задача автоматического анализа речи является весьма слож­

ной и решена лишь отчасти. В сравнении с ней задача автоматического

синтеза речи оказывается более простой, и с примерами ее массового

использования в обиходной жизни мы сталкиваемся постоянно. В част­

ности, автоматически синтезируется речь в следующих ситуациях:

• называние текущего времени по телефону,

• объявление остановок в метро,

• называние остатка средств на счету и другие услуги мобильных

операторов,

• оповещение систем гражданской безопасности и т.д.

Автоматический синтез (генерация) речи в настоящее время осу­

ществляется путем составления слов и фраз из заранее записанных

диктором образцов отдельных звуков (метод компилятивного синте­

за) или путем моделирования речевого тракта человека {формантно-

голосовой метод)[49].

Первый метод используется главным образом для синтеза отно­

сительно небольшого и заранее известного набора фраз. При этом

обеспечивается довольно высокое качество звучания, поскольку син­

тезируемая речь базируется на элементах естественной человеческой

речи. Тем не менее на стыке составляемых звуковых фрагментов воз­

можны интонационные искажения и разрывы, заметные на слух.

Кроме того, создание крупной базы данных звуковых фрагментов,

учитывающей все особенности произношения фонем с разными ин­

тонациями, представляет собой сложную и кропотливую работу.

Второй метод оказывается более сложным, поскольку здесь не­

обходимо точное моделирование особенностей речевого тракта че­

ловека, а также учет интонационной модуляции речи. В силу назван­

ных особенностей формантно-голосовая модель обладает относи­

тельно низкой точностью синтезируемых звуков речи.

В качестве примера программы, синтезирующей речь, можно на­

звать программу Govorilka (разработчик: А. Рязанов, бесплатная вер­

сия программы размещена по адресу http://www.vector-ski.com/vecs/

govorilka). Основные особенности данной программы состоят в сле­

дующем:

• программа читает текст разными голосами и на разных языках,

в том числе на русском;

• исходный текст для чтения может быть загружен из текстового

файла или набран в окне программы при помощи клавиатуры;

• можно сохранить результаты синтеза речи, записав файл форма­

та WAV или МРЗ.

Таким образом, несмотря на мощность современных компьюте­

ров, проблема оснащения компьютера полноценным речевым ин­

терфейсом еще далека от своего завершения. Главной проблемой

при создании программ автоматического распознавания речи явля­

ется то, что компьютер не умеет работать со смыслом. В синтезе

речи уже имеются определенные достижения, которые внедрены в

массовую практику.

Вопросы для обсуждения

1. Что такое знак? В чем различие между знаками языка и знаками речи?

2. В каких сферах ограничениями пословного распознавания звучащей речи

можно пренебречь? Для каких сфер эти ограничения будут принципиально

важными?

3. Какие артикуляционные признаки звуков вам известны?

4. Представители каких профессий должны быть задействованы в создании

сложных систем анализа звучащей речи?

Рекомендуемая литература

1. АлексеевВ. Услышь меня, машина//Компьютерра. 1997. №49. http://offline.

computerra.ra/1997/226/93 8

2. Марчук Ю.Н. Компьютерная лингвистика: учеб. пособие. М.: ACT Вос­

ток — Запад, 2007. С. 38—44.

3. Мыркин В.Я. Введение в языкознание: учебник. Архангельск: Поморский

университет, 2005. С. 57—69.

4. Фролов А.В., Фролов Г.В. Синтез и распознавание речи. Современные ре­

шения. 2003. http://frolov-lib.ru/books/hi/index.html

Лабораторная работа 4

Запись и обработка звуковых файлов

1. Подсоедините микрофон к компьютеру. Нажмите «Пуск» — «Все про­

граммы» — «Стандартные» — «Развлечения» — «Звукозапись». Откроет­

ся окно программы «Звук — Звукозапись», встроенной в операционную

систему MS Windows. Программа сохраняет и обрабатывает файлы только

в формате звукозаписи .WAV.

2. В меню «Файл» выберите команду «Создать». Нажмите кнопку «Запись»

(обозначена красным кружком) и произнесите в микрофон заранее подго­

товленный текст: одно предложение на русском и одно — на иностранном

языке. Между предложениями сделайте небольшую паузу. Для завершения

записи нажмите кнопку «Стоп» (обозначена прямоугольником). Сохрани­

те запись со стандартными настройками, нажав для этого меню «Файл» и

выбрав вкладку «Сохранить как...». В качестве имени файла введите вашу

фамилию.

3. Проверьте запись: для этого нажмите кнопку «Воспроизвести», обозначен­

ную треугольником. Запомните, на какой секунде записи заканчивается

первое предложение.

4. Удалите часть записи — предложение на иностранном языке. Для этого

переместите бегунок в точку файла, начиная с которой требуется удалить

звукозапись. Для более точного поиска ориентируйтесь на счетчик време­

ни, показывающий секунды и доли секунд. В меню «Правка» выберите

команду «Удалить после текущей позиции». Сохраните оставшуюся часть

записи («Файл» — «Сохранить как...»), выбрав в качестве имени файла

начало русского предложения.

5. Откройте исходный файл, обозначенный вашей фамилией. Удалите из за­

писи предложение на русском языке, переместив бегунок в точку, находя­

щуюся между записанными предложениями, и выбрав из меню «Правка»

команду «Удалить до текущей позиции». Сохраните запись («Файл» —

«Сохранить как...»), выбрав в качестве имени файла начало предложения

на иностранном языке.

6. Вставьте один записанный файл в другой. Для этого откройте файл, обо­

значенный вашей фамилией. Поместите бегунок в конец файла. В меню

«Правка» выберите команду «Вставить файл». Дважды щелкните по фай­

лу, обозначенному началом русского предложения. Проверьте запись и

убедитесь, что в ней скомбинированы два исходных звуковых файла.

7. Поработайте с меню «Эффекты»: выберите пункт «Увеличить громкость

(на 25%)» и «Добавить эхо». Проверьте запись. Сохраните результат об­

работки, назвав его следующим образом: Ваша фамилия_Эффекты.

Лабораторная работа 5

Автоматический синтез устной речи

1. Перейдите по ссылке http://www.bloxpot.net/2010/ 05/blog-post_29.html.

Просмотрите видеосюжет о возможностях автоматического синтеза рече-

вых технологий. Прослушайте записи фраз, синтезированных в различных

программах. Оцените качество синтезированной речи каждой программы.

2. Перейдите по ссылке http://text-to-speech.imtrans lator.net. Введите в диа­

логовое окно одно или несколько предложений на русском, английском и

других известных вам языках. Прослушайте вариант озвучивания этих

фраз, предлагаемых программой. Для каких целей можно использовать

данную программу?

3. Перейдите по ссылке http://rssradio.ru. Протестируйте различные возмож­

ности автоматического озвучивания новостей российских интернет-порта­

лов. Насколько полезной вы считаете функцию автоматического озвучива­

ния новостей?

4. Перейдите по ссылке http://mp3book2005.ru/3.htm. Прослушайте примеры

аудиозаписей книг, предлагаемые на сайте. Оцените возможности исполь­

зования программы.

5. Составьте перечень недостатков автоматического синтеза речи, выявлен­

ных вами на материале рассмотренных программ. В какой из программ

этих недостатков меньше всего?