- •Исследование параметров речевого сигнала
- •Порядок выполнения
- •Теоретическая часть
- •Порядок выполнения
- •Теоретическая часть Алгоритм разделения сигнала на речь и паузы
- •Лабораторная работа 3 Создание базы данных фонем русского языка
- •Лабораторная работа 4 Преобразование речи в текст
- •Формирование обучающей выборки для нейросети
- •9. Выводы по работе
- •1. Цель работы.
Теоретическая часть Алгоритм разделения сигнала на речь и паузы
Кепстральный анализ
Предположение о независимости вида источника возбуждения и характеристик голосового тракта является основным почти для всех систем обработки речи и позволяет построить следующую модель формирования речи [57] (рисунок 3.2).
Рисунок 3.2 – Модель формирования речи
Источниками возбуждения служат генератор импульсов с внешней синхронизацией с периодом основного тона, также генератор случайных чисел. Генератор импульсов через определенный интервал вырабатывает импульс, соответствующий очередной порции воздуха. Интервал между импульсами называется периодом основного тона. Он равен величине, обратной частоте следования порций воздуха или частоте колебания голосовых связок. Выходная последовательность генератора случайных чисел имитирует турбулентный поток. Каждый из источников (или оба) может быть соединен с входом линейного цифрового фильтра с переменными параметрами, моделирующего голосовой тракт. При этом коэффициенты фильтра отражают свойства голосового тракта [57].
Поскольку сигнал возбуждения и импульсная характеристика фильтра взаимодействуют через операцию свертки [57], задача анализа речи может рассматриваться как задача разделения компонент, участвующих в операции свертки. Один из методов ее решения называется гомоморфной обработкой сигнала.
Речевой сигнал моделируется путем свертки трех компонент: последовательности импульсов, представляющих основной тон, импульса возбуждения и импульсной характеристики голосового тракта. Обозначая через р(n) последовательность импульсов основного тона, через е(n) — импульс возбуждения, через u(n) — импульсную характеристику голосового тракта и через w(n) — весовую функцию («окно») конечной длительности, служащую для выделения участков речевого сигнала, получим:
x (n) = [ р (n) * e(n) * u (n) ] w (n) (3.1)
Поскольку w(n) обычно меняется медленно, то данное соотношение можно приближенно записать как
х (n) [ р (n) w(n) * e (n) * u (n) ] ,
х (n) р (n) * е(n) * u (n), (3.2)
т. е. выразить х(n) в виде свертки трех последовательностей [57]. При этом сигналом возбуждения s(n) считается свертка последовательности импульсов основного тона p(n) и импульсов возбуждения e(n):
s(n) = р (n)*е (n) (3.3)
Таким образом, х (n) является просто дискретной сверткой:
х (n) = u (n)*s (n), (3.4)
где s (n) - сигнал возбуждения.
Свертка приводится к суммированию, если воспользоваться преобразованием Фурье (что дает произведение) [62] и прологарифмировать результат. Данное свойство позволяет оценить параметры каждой составляющей x(n) в отдельности (рисунок 3.3).
Рисунок 3.3 – Гомоморфная обработка речи
Здесь х(n) – сигнал в точке А. Дискретное преобразование Фурье от х(n) дает сигнал в точке В, равный произведению ДПФ от u(n) и s(n):
,
k = 0,…, N-1; (3.5)
X(k) = U(k) S(k). (3.6)
В следующем блоке определяется логарифм модуля полученной последовательности, причем сигнал в точке С (рисунок 3.3) равен сумме логарифмов модулей ДПФ от s(n) и u(n):
Log(|X(k)|) = log(|U(k)|) + log (|S(k)|). (3.7)
Далее к сигналу применяется обратное ДПФ. Полученная последовательность называется кепстром сигнала х(n). Кепстр сигнала определяется как обратное преобразование Фурье от логарифма спектра [96]. Поскольку обратное ДПФ линейно, то сигнал в точке D (рисунок 3.3) равен сумме кепстров функции возбуждения и импульсной характеристики голосового тракта.
Сигнал возбуждения можно рассматривать как квазипериодическую импульсную последовательность с преобразованием Фурье, близким к линейчатому, причем спектральные линии расположены на гармониках частоты основного тона. Вычисление логарифма модуля не меняет линейчатого характера спектра функции возбуждения. Обратное ДПФ дает новую квазипериодическую последовательность импульсов с интервалами между импульсами, равными периоду основной частоты [57]. Таким образом, кепстр сигнала возбуждения должен состоять из импульсов, расположенных вблизи п = 0, Т0, 2Т0, . . ., где Т0 - период основного тона (рисунок 3.4).
Импульсная характеристика голосового тракта обычно представляет собой последовательность, отличную от нуля на интервале 20-30 мс [82]. После вычисления логарифма модуля и обратного ДПФ получается последовательность из небольшого числа ненулевых отсчетов, которое обычно меньше, чем число отсчетов на периоде основного тона.
Таким образом, с помощью кепстра можно отделить информацию об источнике возбуждения от информации об импульсной характеристике голосового тракта.
Рисунок 3.4 – Кепстр вокализованного сигнала
Отмечено, что для вокализованного сегмента речи в кепстре возникает пик соответствующий периоду основного тона. Для невокализованного сегмента такие пики в кепстре не возникают. Это свойство кепстра может быть использовано для классификации по принципу вокализованный - невокализованный.
Кепстр, полученный описанным выше способом исследуется с целью отыскания пика в области возможных значений основного тона (4 - 40 мс) [57]. Если максимум кепстра не превышает определенного порога, то сегмент классифицируется как невокализованный. Если пик в кепстре превышает установленный порог, то сегмент классифицируется как вокализованный, а координата пика дает оценку периоду основного тона, и вычисляется частота основного тона [50] (3.8).
, (3.8)
где T0 – период основного тона.
Часть кепстра в области времен, меньших периода основного тона в основном содержит информацию о речевом тракте. Для выделения данной компоненты кепстра используется “окно по кепстру” l(n), имеющее следующий вид [57]:
(3.9)
где n0 выбрано меньшим, чем период основного тона.
Применяя к выделенной компоненте ДПФ, получаем кепстрально-сглаженный логарифм спектра (рисунок 3.5). Этот спектр отражает резонансную структуру речевого сигнала, т.е. пики в спектре соответствуют формантным частотам. Их можно оценить по положению максимумов в кепстрально-сглаженном логарифмическом спектре. Оцениваются первые три формантные частоты, так как именно им принадлежит основная роль при формировании звуков [83].
Рисунок 3.5 – Кепстрально-сглаженный логарифм спектра
Кепстральные характеристики используются при построении моделей фонем в системах распознавания речи.
Контрольные вопросы
Основные блоки и принцип работы цифровой модели речеобразования
Какими способами можно измерить частоту основного тона и форментные частоты?
Что такое кепстр?
Каким способом вычисляется кепстрально-сглаженный логарифм спектра?
