для сегментації поліфонічних мелодій необхідно розділити сигнал на вузькосмугові компоненти.

Необхідно врахувати:

- за огинаючою не завжди можна прийняти рішення про появу чи затухання звукового сигналу;

- при сегментації музичного сигналу бажано розділити сигнал не за частотою, а за періодом.

3. Частотний діапазон оброблювального сигналу  - від 40 Гц до 18 КГц.

4. Кількість використаних фільтрів – 12.

5. Частота дискретизації фрагментів - 44100 Гц.

6. Кількість розрядів вхідних даних -16

7. Повинно бути ручне керування параметрами обертонів і співвідношенням рівня сигналів і обертонів.

8. Система повинна складатися з таких вузлів:

• сегментації сигналів;

• визначення основних тонів;

• синтезу обертонів;

• фільтрації;

• сумування сигналів.

5. Структурна схема системи

Вхідний сигнал проходить по двох вітках схеми: в одному він опрацьовується, а в другому залишається практично без змін (крім фільтрації). У вихідному суматорі опрацьований і вихідний сигнал змішуються у встановлених користувачем співвідношеннях.

До складу системи як елемент повинен входити генератор гармонік, який синтезує гармоніки верхньої частини спектру вихідного сигналу, який виділив фільтр верхніх частот. Причому, для синтезу вибирається одна з гармонік, найчастіше – друга, як така, що найбільш благозвучно сприймається з вихідним сигналом, потужність вищих гармонік набагато менша. Тобто сигнал спотворюється.

Суматор формує вихідний сигнал опрацювання, визначаючи долю вмісту гармонік. Спотворений фільтром верхніх частот сигнал поступає для сумування з вихідним сигналом.

6. Представлення даних в системах розпізнавання музичних сигналів

Входом системи розпізнавання є звуковий сигнал, вихід – структурована інформація про довжини і основні тони виявлених звукових об’єктів. Першою спостережуваною ознакою звукового сигналу є його амплітудний спектр, який обчислюється з ДПФ. Оскільки не можна відразу перейти від амплітудного спектру до нотного запису, необхідно використати кілька рівнів представлення інформації, тобто, системи розпізнання музичних сигналів – багаторівневі. Рівні представлення даних при розпізнаванні музичних сигналів наведені на рис.3.

1. По наявності локальних максимумів амплітудного спектру, який є більшим від певного порогу, судять про наявність гармонійних (на відміну від шумових) спектральних складових.

2. Спектральні складові можуть бути як тонами чи обертонами. Так і завадами.

3. Ноти об’єднуються в послідовні інтервали (створюють мелодію голосів) і співзвуччя (гармонійні інтервали), що створюють акорди.

4. Характер мелодії і акомпанементу визначається вибраною тональністю.

В системі використовуються такі рівні представлення даних:

1. Корелограма.

2. Сумарна АКФ.

3. Локальні максимуми сумарної АКФ.

4. Періодичності.

5. Огинаючі вузькосмугових компонентів.

6. Передбачувані моменти початку звучання звукових обєктів – атаки вузькосмугових компонент.

Ноти – результат розпізнавання.

7. Формати представлення музики і звуку

Формати представлення музики і звуку дають можливість подати на вхід системи стандартні музичні об’єкти і провести дослідження її ефективності. Найпошириніше використовуються два формати: Microsoft RIFF (Resource Interchange File Format  - формат файлів передачі ресурсів) Wave (.WAV) і SMF (Standard MIDI File - стандартний MIDI-Файл) (.MID). Перший містить оцифрований звук (моно/стерео, 8/16 розрядів, з різною частотою дискретизації), другий - партитуру для MIDI-інструментів (ноти, команди зміни інструментів, керування тощо). Тому WAV-Файл на всіх картах, що підтримують потрібний формат, розрядність і частоту дискретизації звучить однаково (з точністю до якості перетворення і підсилювача), а MID-Файл у загальному випадку по-різному.

WAVE-форма використовується для цифрових аудіодисків, а MIDI - в електронних музичних інструментах.

Фізичні характеристики MIDI:

• спосіб передачі - струмова петля (5 мА);

• передача даних - побайтно, у послідовному стартостопному коді (8 біт даних, один стоповий);

• швидкість -  31250 біт/с.

Потік даних, що передається по MIDI, складається з повідомлень (подій): натискання/відпускання клавіш, зміна положень регуляторів ( MIDI-контролерів), зміна режимів роботи, синхронізація тощо. Можна сказати, що по MIDI передається партитура музичного твору, однак є й спеціальні види повідомлень System Exclusive (SysEx) у які може міститися будь-яка інформація для інструмента наприклад, оцифрований звук для завантаження в ОЗП, партитура ритм-блоку тощо. Більшість повідомлень містить у собі номер каналу (1..16) це найчастіше умовний номер інструмента в мережі, для якого вони призначені.

У повідомленнях про натискання/відпусканнях клавіш передається номер ноти - число в діапазоні 0..127, що визначає умовний номер півтону ноти

З MIDI-форматом працюють програми-секвенсори (sequencer), аналогічні апаратним MIDI-секвенсорам. У їх функції входить запис і відтворення MIDI-партитур, відображення їх у різних форматах, різне редагування як нот (транспонування, квантування, зсув фрагмента), так і керуючих подій: зміни інструментів, генерації серій значень контролерів, що імітують рух регуляторів, вставки SysEx і т.п. Секвенсори підтримують три основних формати відображення: нотний, часово-висотний, подійний.

У форматі RIFF файли діляться на блоки даних (Chunks), що містять кількість байтів, кратне 4. Кожний блок починається з 4-байтового ідентифікатора, за яким йде 4 байти з довжиною блоку або файлу. При необхідності блок доповнюється нульовими байтами, але розмір вказується без обліку цих байтів.

Будь-який MIDI-синтезатор може відтворювати звучання більше 150 різних музичних інструментів, що мають свої номери назви. Програвання йде одночасно на 16 каналах (треках) - 16 інструментах (або, точніше, в 16 оркестрових групах, що складаються з однакових інструментів). На кожному каналі одночасно може звучати кілька голосів - нот, що витягаються на цьому інструменті (їх може бути до 32

8. Розробка процесора реставрації музичних сигналів

Структурна схема процесора реставрації музичних сигналів наведена на рис.4.

Для сучасних систем характерно, що фільтрація проводиться з використання відомостей про шум, а не відомостей про сигнал. Даний підхід можна назвати фільтрацією з використанням виявлення, тобто за деякою ознакою (амплітудний спектр) приймається рішення про наявність чи відсутність процесу (шуму).

На рис.4. також можна виділити гілку керування і гілку опрацювання сигналу. Формуванням частотної характеристики фільтра шумоподавлення керує пристрій, який порівнює амплітудні спектри сигналу, що обробляється з стандартними вибірками. При такому підході, як поріг при прийнятті рішення про значення модуля коефіцієнта передачі в даному діапазоні частот використовується потужність шуму еталонної вибірки у відповідній області спектру. Можливий варіант, коли поріг визначається автоматично. При такому підході „шумовими” компонентами спектру, що підлягають подавленню признаються компоненти, потужність яких менша цього динамічного порогу. Для синтезу гармонік з сигналу може бути виділена смуга верхніх чи нижніх частот.

На синтезатор гармонік поступає сигнал, який крім корисних спектральних складових містить і не подавлені на стадії шумоподавлення продукти нелінійних спотворень, компоненти шумів. Тобто, після сумування вхідного сигналу з вихідним сигналом синтезатора гармонік вхідний спектр збагачується новими шумовими складовими.

Головними і найскладнішими вузлами процесора є вузли ШПФ і синтезатора гармонік. У випадку, якщо частота сигналу, що поступає буде співпадати з частотою однієї з еталонних гармонік (синусоїд), на виході ШПФ буде спектр у виді одиночного піка. При неспівпадінні частот графік спектру буде мати вигляд, що наведений на рис.5. Знизу під графіком наведені умови його формування.

Рис. 5. Спектр ШПФ синусоїдального сигналу у випадку не співпадіння його частоти з жодною зі еталонних частот ШПФ.

На рис.6 наведений спектр ШПФ синусоїдального сигналу у випадку співпадіння його частоти з однією з еталонних частот і попереднім віконним опрацюванням.

Аналіз рис.5 і рис.6 показує, що при використанні реальних сигналів на виході ШПФ можуть появлятися піки. При змішуванні сигналів з вузлів ШПФ шуму і ШПФ корисного сигналу вдається отримати сигнал максимально наближений до реального сигналу. Приклад як змінюється графік ШПФ спектру у часі наведений на рис.7.

Рис.6. Спектр ШПФ синусоїдального сигналу у випадку співпадіння його частоти з однією з еталонних частот і попереднім віконним опрацюванням.

Рис. 7. Графік ШПФ звукового сигналу скрипки.

По осі Х - частота, по Y - час і в "третьому вимірі" - амплітуда синусоїд, з яких, за результатами ШПФ, складається сигнал. Складний з погляду цифрового спектрального аналізу за методом ШПФ сигнал суб'єктивно відчувається як монолітний, цільний і "простий" звук певної висоти (частоти). З рис.7 можна зробити висновок про доцільність змішування сигналу і шуму для відтворення музичних сигналів.

Гармонійні синтезатори

Для реалізації синтезатора музичних звуків використовуєтося кілька методів:

1. Метод хвильового табличного синтезу -  в пам'ять синтезатора записується оцифрований звук музичного інструмента, який у потрібний момент часу зчитається. Допустимо вихідний сигнал дискретизований із частотою 44.1 КГц. Тепер якщо ми будемо відтворювати його на подвоєній частоті дискретизації 88.2 КГц, тобто у два рази швидше, то висота звуку зросте на октаву. Якщо ж відтворювати сигнал на зниженій частоті дискретизації, то висота звуку відповідно зменшитися. Таким чином, якщо відтворювати сигнал на зміненій відповідним чином частоті дискретизації можна одержати звук будь-якої висоти. Однак у такого методу є недоліки. По-перше, зробити високостабільний плавно пере налаштований генератор частоти дискретизації в багато разів важче, ніж стандартний стабілізований кварцом генератор. По–друге, Одночасно зі зсувом величини тактової частоти і висоти звуку буде змінюватися тривалість атаки й швидкість загасання сигналу. Так якщо ми збільшимо тактову частоту у два рази, то висота звуку зросте у два рази, одночасно у два рази зменшитися загальний час звучання сигналу (тому що він буде програватися у два рази швидше) і, отже, у два рази скоротиться тривалість атаки й у два рази зросте швидкість загасання звуку. Це викличе перекручування загального враження про звук. Відбудуться й більше серйозні зміни в тембрі відтвореного сигналу (зсув формант).

2. Гармонійні синтезатори – звук є дуже якісним, але вимагають величезних обчислювальних потужностей. Вихідний сигнал обчислюється як сума декількох десятків синусоїдальних коливань із амплітудами, що змінюються в часі, частотами й фазами. При такому синтезі враховується "негармонійність" гармонік частоти основного тону, тремтіння фаз гармонік, зміна співвідношення високочастотних і низькочастотних компонентів залежно від стадії атаки, підтримки й загасання, а також і інші "тонкі" ефекти, властиві звуку реальних музичних інструментів. Синтезатори цього типу застосовуються в основному в дуже дорогих проектах і в наукових дослідженнях.

3. Синтезатори на основі:

-  частотної модуляції;

- моделювання фізичних процесів та інші.

При побудові гармонійних синтезаторів використовуються методи цифрового опрацювання сигналів.

9. Розробка алгоритму розпізнавання багатоголосних музичних сигналів

Розробка алгоритму сегментації

Вибір підходу до сегментації визначається, насамперед, вибором елемента розпізнавання (при розпізнаванні злитої мови елементом розпізнавання може бути і фонема і склад і ціле слово). Задача алгоритму сегментації – визначення границь елементів розпізнавання, і при необхідності їх розділення. У випадку, якщо елементи розпізнавання перекриваються у часовій області, необхідне визначення границь у частотній області.

Основна складність сегментації багатоголосних музичних сигналів визначається тим, що звукові об’єкти перекриваються і в часовій і в частотній областях. Найскладніше виконання в унісон – кілька інструментів одночасно виконують однакову мелодію.

Після виконання задачі сегментації утворюється ритмічна структура мелодії, яка розпізнається. Ритмічна структура мелодії не менш важлива ніж її висотна структура. В цьому полягає одна з різниць між розпізнавання музичного і мовного сигналів.

Сучасні алгоритми сегментації музичних сигналів будуються на використанні паралельного спектрального аналізатора. Створення систем розпізнавання музичних сигналів ведеться в межах більш загальної задачі – комп’ютеризованого аналізу звукових сцен (CASA – Computational Auditory Scene Analysis), до задач якого відноситься просторова локалізація і ідентифікація джерел звуку. Для сегментації звуку використовується набір фільтрів або сонограми (часова залежність коефіцієнтів дискретного перетворення Фур’є), яка використовується для візуалізації результатів спектрального аналізу звукових фрагментів великої тривалості. Останній підхід використовується рідко. Частіше використовується підхід, що базується на моделі сприйняття гучності людським вухом. Послідовність процесів опрацювання і аналізу сигналу наведена на рис.8.

Всі вхідні сигнали повинні бути приведені до одного визначеного значення відносної гучності. Тому перед опрацюванням сигнал нормується і поступає на набір смугових фільтрів. Частотний діапазон від 40 Гц до 18 КГц ділиться на смуги так, щоб ширина кожної з них була приблизно рівною ширині критичної смуги слухової системи. Для перекриття діапазону достатньо 21 фільтру.

10. Розробка алгоритму визначення основних тонів звукових об’єктів, що перекриваються у часі

Процедура прийняття рішення про „висоту тону ноти за значенням частоти звукового об’єкта” є простою задачею, на відміну від задачі „отримання значення ознаки”, яка є джерелом помилок і за якою приймається це рішення. Ознакою є основний тон звукового об’єкта. Причиною виникнення неправдивих гіпотез при сегментації сигналів є співпадіння частот гармонік і основних тонів звукових об’єктів, які необхідно розпізнати. При певному співвідношенні частот обертонів звуків співзвуччя формуються неправдиві гіпотези у відкликах фільтрів, що не налаштовані на частоти обертонів цих звуків. Тому необхідно переконатися, що в спектрі сигналу, який розпізнається міститься основний тон (з його частотою) чи хоча б обертони з достатньою потужністю. Про наявність гармонійних складових можна судити за амплітудним спектром, що отримується з ДПФ.

В блоці “Визначення загальної кількості гіпотез” визначається набір гіпотез, тобто значень основних тонів, які є найбільш ймовірними кандидатами.

При перевірці гіпотези основного тону з набору гіпотез   необхідно в спектрі сигналу повністю подавити складові з частотами , а також їх гармоніки і переконатися, що гармонійні складові, що залишилися можуть бути основним тоном з частотою чи його обертонами.

11. Розробка алгоритму опрацювання сигналу на основі розпізнавання

Згідно з концепцією відновлення музичних сигналів в процесі опрацювання сигналу необхідно провести фільтрацію (подавлення шумових компонентів) і синтез втрачених компонентів звукових об’єктів. Принцип формування амплітудно-частотної характеристики (АЧХ) фільтра шумоподавлення нам основі даних, що отримані при розпізнаванні такий.

Відомі приблизні значення частот обертонів звукових об’єктів, амплітуди яких залишаються без змін, тобто коефіцієнт передачі фільтра на кожній з цих частот і в деякій області (справа і зліва) кожної з цих частот повинен бути рівний 1. Ширина смуги частот f, яка містить обертон корисного сигналу, повинна бути регульованою, оскільки відхилення частот обертонів від середніх значень не однакові для різних музичних інструментів.

В решту області частот коефіцієнт передачі повинен бути меншим від одиниці: |H(f)| =H_под.  1.для подавлення шумів.

Недолік підходу: музична фонограма має крім шумів носія запису і шумів тракту формування-запис-відтворення і „корисні” шуми – акустичний фон приміщення, де проводилось записування, негармонійні призвуки, які виникли в ході виконання і зумовлені особливостями звукоутворення в певному інструменті.

Найпростішим способом сформувати фільтр з АЧХ складного виду цифровими методами є використання швидкого перетворення Фур’є (ШПФ). АЧХ фільтра H(f_k) = 0, K=0…N-1 (N – кількість відліків вибірки). Вирази для АЧХ фільтру на етапі подавлення компонентів, які не відносяться до і-го звукового об’єкту:

(1)

H(f_k ) = H_под, , якщо умова (3. ) не виконується , де (2

- F_k=(k*F_Д)/N – частота і-го коефіцієнту ряду Фур’є;

- F_Д – частота дискретизації відновлювального сигналу;

- N – довжина вибірки;

-   - частота основного тону і-го звукового об’єкту;

 - ціла частина ;

- Q – величина еквівалентної добротності, яка характеризує ширину смуги пропускання фільтра в околі m-го обертону ;

-   - відносне відхилення частоти k-го коефіцієнту ряду Фур’є від частоти m-го обертону ;

- H_под – модуль коефіцієнта передачі фільтра в області подавлення.

За виразами (1), (2), якщо частота k-го коефіцієнта ряду Фур’є відхиляється від частоти ближнього обертону на величину меншу, ніж задано смугою пропускання в околі цього обертону, то модуль коефіцієнта передачі фільтра шумоподавлення на частоті k-го коефіцієнта встановлюється рівним 1. Якщо H(f_k ) =1, тобто частота k-го коефіцієнта ряду Фур’є попала в область пропускання іншого звукового об’єкту, що є на оброблювальній вибірці, то H(f_k)  залишається без змін. На частотах всіх решту коефіцієнтів H(f_k ) =встановлюється рівним H_под.

Необхідно вияснити, яким чином можна встановити втрату обертонів і відновити втрачені обертони на основі даних, що отримані при розпізнаванні. Оскільки, не маючи додаткових даних (відомі лише частоти основних тонів звукових об’єктів) обмежимося лише порівнянням потужності спектру в областях, в яких знаходяться гармонійні складові, найбільш близькі за частотою до частоти гармонік основних тонів розпізнаних звукових об’єктів. Ми приймаємо їх за обертони. За результатами порівняння можна константувати наявність чи відсутність обертону. Тобто, для кожного виявленого звукового об’єкта стає можливим скласти перелік недостаючих обертонів. Відповідно, відсутні обертони необхідно синтезувати. Для цього необхідно визначитися з амплітудою, частотою, і початковою фазою гармонійного коливання, яке замінить втрачений обертон.

Для Формування амплітудної огинаючої синтезованих обертонів використовуються вихідні сигнали системи сегментації. Причому доцільно вручну регулювати амплітуди окремих обертонів, якщо для синтезу кожного обертону використовувати окремих генератор. Кількість генерованих обертонів може бути більше від одного.

Частота синтезованого обертону визначається частотою основного тону того звукового об’єкта, до якого обертон відноситься, і цілочисельним множником –порядком обертону. Хоча частота синтезованого обертона отримується цілочисельним множенням частоти основного тону розпізнаного звукового об’єкта, така спектральна складова не може бути названа гармонікою  - завжди є похибка в визначенні частоти обертонів, тобто частота синтезованого обертону не обов’язково є кратною істинній частоті основного тону. Необхідно також ручне регулювання частоти обертонів (наприклад, її відхилення від значення, кратного частоті ОТ, отриманої при розпізнаванню.

Для кращого натурального звучання доцільно синтезувати різні обертони з різними початковими фазами. Тобто необхідний генератор випадкових чисел, який вносить додатковий зсув фази окремих обертонів. Необхідна і можливість ручного керування початкової фази окремого обертону. Необхідно забезпечити неперервність миттєвої фази обертону. Для цього при переході від одної часової вибірки до іншої необхідно запам’ятати значення миттєвої фази на останньому відліку і використовувати його, як опорний на початку синтезу на наступній вибірці.

Враховуючи наведені вимоги розроблена структурна схема синтезу обертонів, яка наведена на рис.9.

Вхідними сигналами синтезу обертонів є вихідні сигнали системи сегментації, вихідний сигнал – сума сигналів генераторів, промодульованих за амплітудою і фазою. Частоти основних тонів поступають на входи генератора, виходи генератора поступають на групу каналів, кожен з яких містить помножувачі частоти, регульовані підсилювачі і регулятори початкових фаз сигналів.

Рис.9. Структурна схема синтезу обертонів.

12. Розробка функціональної схеми системи опрацювання музичних сигналів

На основі аналізу параметрів існуючих систем і розроблених алгоритмів можна зробити такі висновки:

1. Розроблені алгоритми сегментації і розпізнавання музичного сигналу формують повний набір даних, необхідний для опрацювання сигналу на рівні структури окремого звукового об’єкта. Тому фільтрація сигналу і синтез обертонів є чисто технічною операцією.

2. Процес опрацювання сигналу з використанням розпізнавання образів стає повністю контрольованим і керованим користувачем

На основі розроблених алгоритмів розроблена система опрацювання музичного сигналу, яка керується системою розпізнавання. Структурна схема наведена на рис.10. На схемі відображені всі сигнали взаємодії між розробленими і визначення основних тонів звукових об’єктів, фільтром шумоподавленння і синтезатором обертонів. Кола проходження оброблюваного сигналу зображені тонкими стрілками, керуючи впливи – жирними. Опис роботи системи наведений при опису алгоритмів роботи алгоритмів.

13. Дослідження структури звукових об’єктів

Структура звукового об’єкта і тембр.

Дослідження необхідне для розробки алгоритму розпізнавання музичних сигналів і для формування вимог до розроблюваної системи опрацювання сигналів. Крім того, треба дослідити зв’язок структури звукового об’єкту з відчуттями тембру. Для оцінки тембру звучання важливий не тільки момент його розпізнання, але і можливість зміни тембру в процесі виконання. Тут важливу роль відіграє динаміка зміни спектральної огинаючої в часі на всіх етапах звучання: атаки, стаціонарної частини, спаду.

Тому необхідно побудувати адекватну модель звукових об’єктів, придатних для синтезу і ідентифікації тембру.

Для цього необхідно:

1. Спостереження зміни параметрів гармонійних складових звукових об’єктів.

2. Виявлення загальних закономірностей в розгортанні гармонійних складових в різних музичних інструментів.

3. Вивчення впливу інтенсивності збудження і способу відтворення звуку на процес розвитку гармонійних складових.

4. Дослідження взаємодії гармонійних складових звукових об’єктів.

5. Встановити зв’язок гармонійної структури звукового об’єкта з тембром.

При аналізі сигналів треба опиратися на такі припущення:

1. Всі  досліджувані сигнали відповідають одній ноті, а не співзвуччю.

2. Частоти натуральних призвуків основного тону (обертонів) приблизно кратні частоті основного тону.

3. Сигнал є квазіперіодичним: довжина повних циклів коливань має незначні відхилення від деякого середнього значення. На стадіях встановлення і затухання (атаки і спаду) ці відхилення не нормуються, а на стадії, яка встановилася відхилення періоду відповідає зміні висоти тону не більше четверті тону.

4. Середня тривалість повного циклу коливань є рівною тривалості одного циклу на стадії коливань, яка встановилася.

5. Сигнал можна розбити на ділянки приблизно однакової тривалості.

Дослідження кожного звукового об’єкта необхідно розбити на такі етапи:

1. Визначення орієнтовної тривалості повного циклу коливань Т;

2. Розбиття всього звукового об’єкта на не перекриваючі фрагменти, що відповідають окремим повним циклам коливань;

3. Для кожного циклу коливань виконуємо розклад в гармонійний ряд Фур’є на тривалості цього циклу.

4. Середнє значення амплітуд і початкових фаз обертонів в даному циклі коливань приймається рівним відповідно модулям і аргументам коефіцієнтів комплексної форми отриманого ряду Фур’є.

В результаті отримаємо набір амплітуд і фаз обертонів на кожному повному циклі коливань сигналу, знаючи при цьому точне значення тривалості кожного циклу.

Для дослідження вводиться поняття  траєкторія амплітуди (фази) обертона – залежність середнього значення амплітуди (фази) в даному циклі коливань від номера циклу.

Обчисливши траєкторії амплітуд і фаз обертонів і виконавши їх графічне зображення можна приступити до їх аналізу.

1. Виявимо особливості траєкторій амплітуд і фаз обертонів для кожного інструмента в залежності від висоти тону і способу добування звуку.

2. Виявимо подібні риси траєкторій для кожного інструмента незалежно від висоти тону і способу добування і різницю в траєкторіях амплітуд і фаз обертонів різних інструментів.

3. Виявимо ступінь кореляції траєкторій амплітуд обертонів як випадкових функцій часу.

Дослідження проводились на ПЕОМ. Як звуковий матеріал взяті семпли – фрагменти звучання музичних інструментів. Для аналізу вони представлені у цифровому виді запису RIFF WAVE. Частота дискретизації фрагментів 44100 Гц., квантування – 16 бітне.

Програмне забезпечення повинно виконувати такі операції: читання файлів формату RIFF WAVE, визначення частоти основного тону,розклад в комплексний ряд Фур’є, формування траєкторій амплітуд і фаз обертонів, їх графічне відображення.

Визначення частоти основного тону сигналу:

1. Обчислюється короткочасна автокореляційна функція сигналу і визначається положення її максимуму ₀.

2. Виконується дискретне перетворення Фур’є на довжині 2_0, обчислюється амплітудний спектр.

3. Визначається положення максимумів отриманого амплітудного спектру і знаходиться найменше загальне дільник F частот, що відповідає цим максимумам.

4. За період сигналу приймається значення T=1/ F.

Далі проводиться розмітка сигналу (визначення часових меж кожного повного циклу коливань) одним з двох способів: за нулями чи за максимумами.

При розмітці за максимумами за тривалість даного циклу коливань сигналу умовно приймається віддаль між двома локальними (місцевими) максимумами сигналу, що відстають один від одного на віддаль T (T – довжина періоду основного тону). Для розмітки знаходиться найбільший локальний максимум сигналу - опорний (його положення за часом позначимо T_оп), положення наступного локального максимуму визначається пошуком в інтервалі (T_оп +T-t, T_оп +T+t) локального максимуму. Величину t встановлює користувач. Положення інших локальних максимумів знаходиться аналогічно: послідовно віддаляючись від найбільшого максимуму в обидві сторони. Графік розмітки за максимумами наведений рис 11, де Т - довжину даного циклу коливань.

Рис. 11 Графік розмітки за максимумами

При розмітці за нулями за тривалість даного циклу коливань умовно приймається відстань між двома нульовими значеннями сигналу, що знаходяться на відстані Т. Для розмітки знаходиться найближче до найбільшого локального максимуму нульове значення (чи перехід через нуль) – опорне (його положення по часу позначимо Т_оп0). Положення наступного нульового значення (переходу через нуль) визначається пошуком в інтервалі (T_оп0 +T-t, T_оп0 +T+t) такого значення сигналу, для якого виконуються умови:

1. Значення сигналу точно чи приблизно рівне опорному значенню.

2. Співпадають знаки похідної сигналу в даній і в опорній точках.

Такий складний алгоритм вибраний тому, що сигнал не обов’язково прийме значення в інтервалі (T_оп +T-t, T_оп +T+t), оскільки форма сигналу змінюється від періоду до періоду через зміну співвідношень фаз і амплітуд обертонів. Крім того, можливо два і більше переходів через нуль в інтервалі (T_оп +T-t, T_оп +T+t), тоді ми повинні вибрати ту точку, в якій співпадає знак похідної з знаком похідної в опорній точці. Графік розмітки за нулями наведений рис 12.

Алгоритм ілюструється на рис. 12

Рис.12 Графік розмітки за нулями

Після розмітки сигналу відомі часові межі кожного повного циклу коливань (тривалість кожного циклу), тобто вже можна скласти траєкторію тривалості циклу коливань сигналу.

Позиції (номери) граничних відліків кожного періоду зберігаються в пам’яті, користуючись ними, можна зчитати з вхідного файлу масив відліків, який відповідає одному повному циклу і виконати дискретне перетворення Фур’є на тривалості даного циклу. Операції з ваговими функціями не виконуються, оскільки кожен період обмежений з обох сторін майже рівними значеннями. За коефіцієнтами розкладу визначаються значення амплітуд і фаз обертонів в даному циклі коливань. Усереднені по всім повним циклам значення амплітуд і фаз обертонів складають усереднений спектр звукового об’єкту.

Для оцінки статичної залежності траєкторій амплітуд обертонів як функцій часу обчислюється матриця коефіцієнтів кореляції сукупності випадкових величин, що складені з траєкторій амплітуд обертонів. Елемент матриці R_ij дорівнює коефіцієнту кореляції траєкторій амплітуд і-го та j-го обертонів. Коефіцієнт кореляції R_ij обчислюється згідно з виразом (3)

, де (3)

- значення траєкторії амплітуди і-го обертону на k-му циклі коливань;

- середнє значення траєкторії амплітуди і-го обертону;

- дисперсія траєкторії амплітуди і-го обертону;

- кількість повних циклів коливань на протязі тривалості даного звукового об’єкту.

Одною з характеристик звукового об’єкту є матриця коефіцієнтів кореляції траєкторії амплітуд обертонів. Значення коефіцієнтів кореляції траєкторій амплітуд для різних інструментів наведені на рис.13. і рис.14.

Рис.13. Гістограми коефіцієнта кореляції траєкторій амплітуд обертонів для інструментів з автоколиваннями

Рис.14. Гістограми коефіцієнта кореляції траєкторій амплітуд обертонів для інструментів з вільними коливаннями

За значеннями коефіцієнтів кореляції (гітари і фортепіано – 0-0,8; для дерев’яних духових – 0,5-0,9; для мідних – 0,75- 0,99) можна зробити висновок, що вільним коливанням властивий слабкий взаємозв’язок окремих гармонійних складових, для стабільних автоколивань властива майже функціональна залежність між амплітудами обертонів (коефіцієнт кореляції 0.99).

Для аналізу звукового об’єкту необхідно знати: усереднений амплітудний спектр коливань, траєкторії амплітуд обертонів, перехідні процеси (атака), негармонійні призвуки.