невебралка
.pdf
Раздел содержит тексты ряда основных статей автора и фраг101 ментов монографий по проблемам вербально-невербальной
коммуникации.
1 Психоакустические аспекты изучения речи1
Изучение речи как «инструмента» второй сигнальной системы имеет множество исторически сложившихся аспектов, обусловленных научными и прикладными задачами: эволюционно-антро- пологическими (Уайт, Браун, 1978), историко-лингвистическими (Якушин, 1984), акустическими (Fant, 1960, 1970), фонетическими (Бондарко, 1977; Зиндер, 1979; Брызгунова, 1984), физиологическими (Чистович, Кожевников, 1972; Физиология…, 1976), нейрофизиологическими (Бехтерева и др., 1977, 1985), акустико-физиологически- ми (Морозов, 1977), экспериментально-психологическими (Licklider, Miller, 1951; Соколов, 1968), психологическими (Леонтьев, 1965; Ломов, 1984), психолингвистическими (Исследование…, 1985), онтогенетическими (Lennenberg, 1967; Тонкова-Ямпольская, 1971), медицинскими (фониатрическими) (Ермолаев и др., 1970), инженер- но-техническими (Сапожков, Михайлов, 1983; Ли, 1983) и многими другими. Все эти аспекты в той или иной степени взаимосвязаны, взаимодополняют и «перекрывают» друг друга, т.е. отражают разные стороны одного и того же речевого процесса.
Задача психофизики состоит в изучении связи между физическими свойствами стимула и его восприятием. Основной задачей настоящей главы является рассмотрение в общей форме связи между акустическими характеристиками речи и ее восприятием человеком, точнее – роли основных акустических характеристик
1По материалам ст.: Морозов В. П. Психоакустические аспекты изучения речи // Механизмы деятельности мозга человека. Л.: Наука, 1988. Ч. 1. С. 578–607.
102 |
Раздел 2 |
(спектра, основного тона, амплитудно-временных характеристик и др.) в передаче слушателю различных видов речевой информации. Рассмотрены также такие психоакустические особенности восприятия речи слушателем, как информационная избыточность связной речи, влияние шума на восприятие речи, асимметрия слухового восприятия речи, восприятие собственной речи говорящим, особенности вокальной речи (пения), наконец – восприятие человеком так называемых экстралингвистических характеристик звуковой речи, изученных значительно меньше по сравнению с лингвистическими ее свойствами (слово), но значение которых в восприятии речевой информации весьма велико.
Система речевой коммуникации в общем виде включает в себя: 1) источник речевого сигнала (процесс формирования речевого высказывания и образования речи), 2) акустический речевой сигнал, 3) приемник речевой информации (слуховой анализатор и мозг слушателя), 4) шум, всегда присутствующий в системе речевой коммуникации и оказывающий существенное влияние как на процесс восприятия речевой информации, так и на ее образование.
Все звенья указанной системы речевой коммуникации являются взаимосвязанными и взаимосогласованными. Так, например, характеристики источника целиком определяют особенности сигнала. Слух человека в свою очередь хорошо адаптирован к восприятию акустических характеристик речи, выделению речевого сигнала на фоне наиболее вероятных акустических помех. Более того, психофизиологический процесс восприятия речи не ограничивается слуховым анализом акустических характеристик речевого сигнала, но простирается и на анализ слушателем механизмов речеобразования. Данное явление нашло отражение в моторной теории восприятия речи (Галунов, Чистович, 1965; Lieberman et al., 1962; Cooper, 1966), реально регистрируемых биопотенциалах речевых мышц при слушании речи (Соколов, 1968), представлениях об активной природе любого сенсорного процесса, в частности восприятия вокальной речи (Морозов, 1977) и музыки (Теплов, 1947; Леонтьев, 1965).
1.1. Различные акустические параметры речевого сигнала и их значение для восприятия
Разборчивость речи. Важнейшей психоакустической характеристикой речи является ее разборчивость, т.е. степень правильного восприятия слушателем ее фонетических элементов и семантического содержания, иными словами – внятность и понятность речи.
Изучение разборчивости речи исторически было связано с необходимостью оценить качество электроакустических трактов
Исследования невербальной коммуникации |
103 |
связи, в частности телефонных сетей. Такого рода исследования были проведены как за рубежом (French, Steinberg, 1947; Licklider, Miller, 1951), так и в нашей стране инженерами связи в содружестве с фонетиками (Покровский, 1962). Вместе с тем разработанные для этой цели методы нашли и более широкое применение, в частности – для изучения индивидуальных и групповых особенностей разборчивости речи людей (мужчин, женщин, детей) в различных условиях (Морозов, 1977).
Основной принцип исследования разборчивости состоит в прослушивании группой подготовленных слушателей того, что говорит человек, записи прослушанного и определении вероятности правильного восприятия по отношению ко всему переданному говорящими речевому материалу, согласно формуле: A = Wx/W∑, где А – разборчивость речи в процентах; W∑ – число переданных говорящим лингвистических единиц, например слов; Wx – число правильно принятых слушателем слов.
Характер речевого материала при этом оказывает весьма существенное влияние на результаты восприятия речи слушателем. Так, показано, что при всех прочих равных условиях максимальная разборчивость наблюдается при восприятии связной речи в виде предложений (так называемая фразовая разборчивость). При тех же условиях процент разборчивости оказывается меньше, если передаются изолированные слова, и еще меньше – при передаче изолированных фонетических элементов речи типа слогов (или, как их иногда называют, логотомов). Указанное обстоятельство объясняется высокой информационной избыточностью речевого сигнала связной речи, обеспечивающей возможность слушателю догадываться о нечетко произнесенных и даже вовсе не произнесенных (редуцированных) звуках по смыслу речевого высказывания.
Зависимости между слоговой, словесной и фразовой разборчивостью для английской речи впервые определены Коллардом (Collard, 1929 – цит. по: Покровский, 1962). Для русской речи они обстоятельно были изучены коллективом инженеров Военной академии связи совместно с кафедрой экспериментальной фонетики Ленинградского университета (Покровский, 1962). Для этой цели были разработаны специальные тестовые фразы, слова и слоги, а также процедуры исследования. Данные формы речевого материала были разработаны с учетом статистических характеристик и фонетических закономерностей русской речи, составлено 100 слоговых таблиц по 50 слогов в каждой. Слоги эти закрытые (начинаются и оканчиваются согласными) и лишены смысла (не являются односложными словами).
104 |
|
|
|
|
|
|
Раздел 2 |
|
|
||
100 |
|
|
|
|
|
|
|
|
|
|
|
90 |
W % |
1 |
|
|
|
|
|
S, % |
W, % |
||
80 |
|
|
|
|
|
|
|
10 |
50 |
||
|
|
|
|
|
|
|
|
|
|||
|
|
2 |
|
|
|
|
|
20 |
70 |
||
70 |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
30 |
80 |
|
|
|
|
|
|
|
|
|
|
|
||
60 |
|
|
|
|
|
|
|
|
|
40 |
86 |
50 |
|
|
|
1 - русская речь |
|
50 |
90,5 |
||||
|
|
|
|
60 |
94 |
||||||
40 |
|
|
|
2 - английская речь |
|||||||
|
|
|
70 |
97 |
|||||||
30 |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
80 |
99 |
|
20 |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
90 |
99,5 |
|
10 |
|
|
|
|
|
|
|
|
S % |
100 |
100 |
0 |
10 |
20 |
30 |
40 |
50 |
60 |
70 |
80 |
90 100 |
|
|
Рис. 1. Зависимость словесной разборчивости (W) от разборчивости сло- |
|||||||||||
гов (S) (Покровский, 1970)
Комплекс слоговых таблиц официально утвержден для исследования разборчивости русской речи (ГОСТ-7153-61). Составлен также комплекс из 50 лингвистически сбалансированных словесных таблиц (по 50 слов в каждой, служащих для тех же целей), а также материалы для определения фразовой разборчивости (Покровский, 1962).
Зависимости между слоговой, словесной и фразовой разборчивостями для английской и русской речи приведены на рисунках 1 и 2. На основании указанных закономерностей, зная слоговую разборчивость, всегда можно определить разборчивость слов и разборчивость фраз, т. е. связной речи. Так, например, 50% разборчивости слогов соответствуют 90,5% разборчивости слов и 96,5% разборчивости фраз, что считается весьма удовлетворительным.
Информационная избыточность связной речи, обусловливающая повышенную разборчивость осмысленных элементов речи (фраз и слов) по отношению к слогам, является важнейшим психоакустическим свойством речевого восприятия. Этот феномен свидетельствует, что процесс восприятия речи не является поэлементным. Он не сводится к последовательному восприятию отдельных речевых элементов (звуков или слогов), а в каждый данный момент является вероятностным, т. е. опирается на достаточно широкую ретроспективную (т.е. на то, что было произнесено раньше) и перспективную (что будет сказано) оценку воспринимаемого речевого
|
|
Исследования невербальной коммуникации |
105 |
|||||||||
100 |
|
|
1 |
|
|
|
|
|
|
|
|
|
90 |
J % |
|
|
|
|
|
|
S, % |
J, % |
|
||
|
2 |
|
|
|
|
|
|
|||||
80 |
|
|
|
|
|
|
|
10 |
41,0 |
|
||
|
|
|
|
|
|
|
|
|
|
|||
70 |
|
|
|
|
|
|
|
|
|
20 |
86,0 |
|
60 |
|
|
|
|
|
|
|
|
|
30 |
92,0 |
|
|
|
|
|
|
|
|
|
|
40 |
95,0 |
|
|
50 |
|
|
|
1 - русская речь |
|
|
|
|||||
|
|
|
|
|
50 |
96,5 |
|
|||||
40 |
|
|
|
2 - английская речь |
60 |
97,5 |
|
|||||
|
|
|
|
|
|
|
|
|
|
|||
30 |
|
|
|
|
|
|
|
|
|
70 |
98,5 |
|
20 |
|
|
|
|
|
|
|
|
|
80 |
99,5 |
|
|
|
|
|
|
|
|
|
|
90 |
99,8 |
|
|
10 |
|
|
|
|
|
|
|
|
S % |
|
||
|
|
|
|
|
|
|
|
100 |
100 |
|
||
|
|
|
|
|
|
|
|
|
|
|
||
0 |
10 |
20 |
30 |
40 |
50 |
60 |
70 |
80 |
90 100 |
|
|
|
Рис. 2. Зависимость фразовой разборчивости (J) от разборчивости сло- |
||||||||||||
гов (S) (Покровский, 1970)
материала. Решающим с этой точки зрения фактором является знание слушателем лингвистических вероятностных закономерностей языка, приобретаемых, разумеется, не в результате какого-либо специального обучения, а эмпирическим путем в процессе овладения языком, начиная с раннего детского возраста.
Трудности проблемы автоматического распознавания речи (существующие и по сей день) в значительной мере возникали в результате попыток исследователей ограничить процесс распознавания процедурой поэлементного, например пофонемного, анализа речевого потока. Но, поскольку многие звуки в живой разговорной речи неузнаваемо изменены (по отношению к своему среднестатистическому стандарту) или даже вовсе отсутствуют, данный алгоритм речевого распознавания заведомо не оптимален. Поэтому в современных теориях машинного распознавания речи все более и более начинает доминировать идея о необходимости обучения ЭВМ распознаванию речи на основе тех же принципов, что и овладение речью человеком в онтогенезе, т. е. на основе «усвоения» машиной всех необходимых вероятностных языковых закономерностей (Ли, 1983).
Спектральные характеристики речи. Наиважнейшей акустической характеристикой речи, обусловливающей восприятие слушателем речевой информации, является динамика спектрального состава звука во времени. Спектром звука принято называть пред-
106 |
Раздел 2 |
Рис. 3. Схема преобразования спектра в речевом тракте (Сапожков, Михайлов, 1983).
а – звуковые импульсы голосовых связок; б – осциллограмма речевого звука; в – спектр источника (голосовых связок); г – резонансные характеристики речевого тракта; д – результирующий спектр речевого звука. А – амплитуда; Р – звуковое давление; t – время; L – относительный уровень спектральных составляющих; f – частота спектральных составляющих; F1 – первая форманта; F2 – вторая форманта.
ставление сигнала в координатах «частота–амплитуда», иными словами – зависимость амплитуд обертонов от их частоты.
Голосовой источник (гортань, голосовые складки) формирует звук (см. рисунок 3а, б) с линейно падающей по мере увеличения частоты амплитудой обертонов (см. рисунок 3в). Резонаторная система речевого тракта (ротовая полость, глотка) обладает свойством усиливать отдельные полосы частот, значение которых определяется объемом и конфигурацией ротоглоточного резонатора, что в свою очередь обусловливается характерным для каждого речевого звука положением артикуляционных органов (см. рисунок 3г). В результате прохождения звуковой волны от голосовых складок через ротоглоточный резонатор1 спектр ее оказывается преобразованным, т.е. имеет максимумы акустической энергии (F1, F2) в частотных полосах, соответствующих резонансному усилению речевого тракта, и минимумы в соседних полосах, соответствующих поглощению (подавлению) речевым трактом акустической энергии (см. рисунок 3д).
1В формировании спектральных характеристик речевых звуков немаловажная роль принадлежит также и носовому резонатору, акустически связанному с системой ротоглоточного резонатора через носоглоточный проход, регулируемый активностью мягкого нёба.
Исследования невербальной коммуникации |
107 |
Как установлено с параллельным применением кинорентгеносъемки и акустической техники, в процессе артикуляции звуков речи, т. е. перемещении языка, губ, челюсти, изменении объемов и конфигурации ротовой и глоточной полостей, резонансные характеристики речевого тракта меняются. Это соответственно приводит к изменению максимумов на спектрах речевых звуков, в частности гласных [А], [Э], [И], [О], [У], [Ы] (см. рисунок 4). Максимумы акустической энергии на спектрах звуков, получившие название формантных максимумов, или речевых формант, играют основную роль в опознавании речевых звуков слуховой системой человека. Формантные максимумы на спектрограммах обозначаются индексами F1 F2, F3 и т. д. (см. рисунок 3д) в соответствии с номером форманты (нумерация ведется от самой низкой, первой, форманты
F1 к высоким).
Согласно акустической теории речеобразования (Fant, 1960), каждый речевой звук характеризуется наличием ряда формант. Однако для эффективного узнавания звуков речи слушателем достаточно первых двух формант (F1 и F2). В отличие от гласных спектральные максимумы многих согласных (например, С, З, Ш) сильно сдвинуты в высокочастотную область вплоть до ультразвуковых частот 50–80 кГц (Мясников, Мясникова, 1970). Вместе с тем в спектре естественной речи обнаружены и низкочастотные составляющие в области инфразвуков (Морозов и др., 1972).
Приведенные на рисунке 4 значения формантных частот гласных звуков отнюдь не являются строго фиксированными (равно как и согласных) и у разных людей могут отклоняться в пределах до 20% (в силу анатомо-физиологических различий речевых трактов у разных людей). Поскольку у женщин и детей речевые резонаторы в целом имеют меньшие объемы, формантные частоты их речи сдвинуты в высокочастотную область: у женщин на 17%, у детей (до 10 лет) на 25% по сравнению с таковыми у мужчин. Указанное обстоятельство тем не менее не вызывает особых затруднений у слушателей в восприятии детской и женской речи, хотя в целом разборчивость детской и женской речи оказывается несколько ниже, чем мужской, особенно в верхней части звуковысотного диапазона голоса (Морозов, 1964b, Morozov, 1980).
Выше упоминалось о среднестатистических распределениях формантных областей на стационарных участках речевых звуков. Однако естественная речь характеризуется более или менее плавными переходами от одного артикулируемого звука к другому, что отражается на спектрах в наличии переходных процессов, т. е. участков между звуками, в которых содержится информация как о предыдущем, так и последующем звуке.
108 |
Раздел 2 |
Рис. 4. Представление шести русских гласных [А], [Э], [И], [О], [У], [Ы] в координатах «частота первой форманты F1 (по оси абсцисс) – частота второй форманты F2 (по оси ординат)» (Fant, 1965).
Характерное положение каждой гласной на плоскости F1 – F2 обозначено точкой. Рядом изображен характерный профиль речевого тракта при артикуляции данного звука и типичные для каждой гласной спектрограммы.
С целью изучения динамики звуковых процессов, и в частности речевых спектров, применяются динамические спектрографы, известные также в литературе под термином «видимая речь». На динамических спектрограммах, полученных с помощью данного прибора, по горизонтальной оси регистрируется время, по вертикальной – частота спектральных составляющих, а их интенсивности соответствует степень потемнения линий (Potter et al., 1947).
Исследования невербальной коммуникации |
109 |
Пример регистрации речевой фразы: «Девушка, как тебя зовут?» – при помощи динамического спектрографа приведен на рисунке 5. Жирными линиями здесь обозначены формантные частоты, характерным образом изменяющиеся по частотной шкале в процессе речи. Для более точного определения речевых формант существуют специальные методы и автоматические устройства – так называемые формантоискатели (Сапожков, Михайлов, 1983).
Среднестатистический (усредненный) спектр русской речи, полученный методом интегрирования (в частотных полосах спектрометра) большого числа речевых сигналов, охватывает весьма широкую полосу частот, примерно от 100 до 10000 Гц, с постепенным падением к высоким частотам. Это не означает, что весь указанный частотный диапазон необходим для удовлетворительного восприятия и понимания речи слушателем.
Исследования показали, что речевой сигнал сохраняет достаточно высокую разборчивость при условии ограничения его спектрального состава как сверху (подавление высоких частот спектра при помощи фильтров низкой частоты), так и снизу (подавление
Рис. 5. Динамическая спектрограмма фразы «Девушка, как тебя зовут?», синтезированной с помощью синтезатора «OVE-3» (Деркач и др., 1983).
В верхнем ряду «Девушка как», в нижнем – «тебя зовут». Хорошо видны первые три форманты – F1, F2, F3, частоты которых изменяются в процессе воспроизведения фразы.
110 |
Раздел 2 |
низких частот спектра при помощи фильтров высокой частоты). Слоговая разборчивость 80% обеспечивается при ограничении высоких частот от 2 кГц и выше или при ограничении низких частот от 2 кГц и ниже. Напомним, что 80% слоговой разборчивости соответствует 98% разборчивости слов (см. рисунок 1) и 99,5% фразовой разборчивости (см. рисунок 2). Таким образом, обе половины спектра речевого сигнала, разделенного по частоте 2 кГц, обеспечивают практически 100-процентную правильность восприятия слушателем фразовой речи.
Еще более устойчивыми к ограничению спектральной полосы оказываются некоторые виды экстралингвистической информации, в частности узнавание говорящего по голосу. Так, ограничение речевого спектра полосой всего лишь 0–400 Гц и ниже обеспечивает правильное узнавание диктора с вероятностью 0,7 (70%). Однако эта же полоса спектра (400 Гц и ниже) дает лишь около 3% правильного восприятия слогов. Ограничение низких частот (4 кГц и выше) дает 65% узнавания диктора и лишь около 32% правильного восприятия слогов.
Исходя из указанных исследований, частотно-спектральный диапазон в линиях телефонной связи установлен в пределах 300– 3000 Гц, что обеспечивает вполне удовлетворительное речевое общение. Однако для высококачественной передачи речи и особенно музыки (повышения натуральности ее звучания) необходима более широкая полоса частотного диапазона: 16–16000 Гц и шире. Так, некоторые фирмы в целях достижения особо высокого качества звучания выпускают электроакустическую аппаратуру (магнитофоны, усилители) с диапазоном частот, захватывающим инфразвуковые и ультразвуковые области.
Частота основного тона. Согласно миоэластической теории голосообразования (Морозов, 1977; Berd, 1958), голос, как уже указывалось, формируется в результате периодических колебаний голосовых складок под действием проходящего через их сомкнутые края тока воздуха, создаваемого в свою очередь экспираторной мускулатурой дыхательного аппарата и эластической тягой легких. Считается, что эластические свойства голосовых складок с участием эффекта Бернулли обеспечивают достаточно стабильные автоколебания голосовых складок.
В противовес миоэластической теории голосообразования французским ученым Раулем Юссоном была выдвинута так называемая нейрохронаксическая теория образования голоса, согласно которой голосовые складки колеблются не пассивно под действием тока воздуха, а активно – в результате сокращения их мускульных волокон (m. vocalis), происходящих под влиянием нервных эффе-
