Лабораторная робота №2

Тема: реализация системы предварительной обработки речи: VAD-алгоритма и алгоритма сегментации речевого сигнала.

Цель: приобрести практические навыки использования энергетических характеристик вейвлет-спектра для выделения границ речи и сегментации РС.

Порядок выполнения работы

1. Программное обеспечение, созданное в результате лабораторной работы 1, дополнить следующим функционалом:

   1. VAD-алгоритм;

   2. первичная сегментация РС;

   3. вывод границ полученных сегментов на график АВП РС;

   4. сохранение результатов обучения VAD-алгоритма.

2. Запишите речевой сигнал, содержащий вокализованные, шумные глухие смычные и шумные глухие щелевые или смычно-щелевые звуки, с частотой дискретизации 22050 Гц.

3. Выполнить разложение РС по вейвлетам Добеши 2-го порядка, количество уровней разложения 8.

4. Протестировать и отладить работу VAD-алгоритма на различных словах.

5. Оформить отчет по лабораторной работе. Краткие теоретические сведения

Методы выделения речи из РС и сегментации используют спектральное представление сигнала и его энергетические характеристики.

Используем для анализа сигнала энергию вейвлет-коэффициентов разложения сигнала по базису Добеши 2-го порядка:

а) энергия спектра сигнала на m-ом уровне разложения:

(2.1)

VAD-алгоритм основан на оценке величины энергии коэффициентов (2.1) фреймов сигнала в определенном диапазоне масштабов и состоит из трех этапов: вычисление порогов по образцу фона (обучение); маркировка фреймов сигнала; определение границ слова.

Входные данные:

x(n) – сигналы, содержащий и не содержащий шум;

p(n)- образцы фона.

Выходные данные:

L, R - номера отсчетов сигнала, соответствующие левой и правой границам слова;

,  - пороги, полученные по множеству фреймов сигнала p(n).

Обобщенная схема процедуры предварительной обработки сигнала

Обучение включает в себя вычисление порогов для дальнейшей классификации фреймов на классы:

- шумный глухой смычный звук (P) или фон;

- вокализованный звук (Voc);

- шумный глухой щелевой или смычно-щелевой звук (Sh).

Разделение вокализованных и невокализованных звуков выполняется на масштабе исследования j_ , соответствующий частоте основного тона. Энергия вейвлет-коэффициентов (2.1) этого уровня разложения у невокализованных звуков близка к нулю, т.е. не превосходит некоторого порога . В то же время шумные глухие щелевые (смычно-щелевые) звуки характеризуются большой энергией в высокочастотной области спектра (превосходящей порог ). Обозначим j_ уровень разложения, который соответствует этой области спектра. Масштаб исследования j_ позволяет разделить классы звуков Sh и P.

На рисунке 2.1 показан результат фильтрации вейвлетами Добеши на масштабах j_ и j_ сигнала «Саша», не содержащего шум (рис. 2.1а). На уровне j_ (j_=1) четко выделяются шумные глухие щелевые (смычно-щелевые) звуки (рис. 2.1б), на уровне разложения j_ (j_=6) – вокализованные звуки (рис. 2.1в).

Пороги  и  получают по вейвлет-коэффициентам разложения по базису Добеши записанного фона (звукового сигнала p(n), содержащего только шум аппаратуры) путем вычисления энергии каждого s-го фрейма:

, _{, , (2.2)}

где – множество фреймов, на которые разбивается сигнал p(n), содержащий образец фона, – максимальный уровень разложения БВП.

Длина фрейма составляет около 20 мс, для частоты дискретизации 22050 Гц длина фрейма равна 512 отсчетам.

Рис.2.1. а) АВП сигнала «Саша» частота дискретизации 22050 ГЦ, б) коэффициенты разложения сигнала по вейвлету Добеши 4-го порядка на уровне 1, в) коэффициенты разложения сигнала по вейвлету Добеши 4-го порядка на уровне 6.

На уровнях разложения и вычисляются средние величин :

,

а также их смещенные оценки дисперсии

,

Тогда пороги  и  вычисляется согласно формулам:

,

На этапе маркировки фреймов считается энергия сигнала на каждом s-ом фрейме по всем уровням разложения:

, _,

после чего проводится классификация по правилам:

Результатом классификации фреймов является функция их маркировки:

,

которая затем корректируется согласно правилу

,

где – число фреймов, соответствующее минимальной длине фонемы.

На основе полученной функции маркировки Mark(s) проводится третий этап – определение границ слова. Этот этап состоит в нахождении номеров отсчетов сигнала – L и R, являющихся левой и правой границами слова:

,

где – число фреймов, соответствующее максимальной длине шумного глухого смычного звука.

Таким образом, определение границ слова осуществляется с одновременной первичной сегментацией РС и классификацией сегментов, что позволяет повысить эффективность дальнейшего распознавания.