Transferul prozodiei folosind o referință audio


Exemplele audio din cadrul acestei subsecțiuni au fost obținute folosind un sistem de sinteză text-vorbire antrenat peste întreg corpusul MARA.
No. Voce Naturală Mara Referința Voce sintetizată
Tip Audio
1 voce feminină cu intonație neutră
2 voce masculină cu intonație neutră
3 voce masculină expresivă
4 voce acapela

Transferul prozodiei folosind tokeni de stil


Exemple transferul prozodiei către un singur vorbitor
No. Sistem Date pre-antrenare Date antrenare Voce Naturală Control stiluri prozodice Număr propoziții antrenare Informația din Global Style Tokens
Voce expresivă Voce neutră Voce eigen Voce intermediară Token 1 Token 6 Token 7
1 Mara N/A Corpus Mara N/A N/A 7932 stil prozodic
2 IPS-peste-MARA Corpus Mara IPS-masc. 500 parțial prozodie
3 EME-peste-MARA Corpus Mara EME-fem 500 parțial prozodie



Exemple transferul prozodiei către mai mulți vorbitori
No. Date pre-antrenare Date antrenare Voce Naturală Control stiluri prozodice Inițializări Număr propoziții antrenare Informația din Global Style Tokens
Voce eigen Token 1 Token 5 Token 7
1 Corpus Mara Corpus Swara
(voci masc. și fem.)
Model Mara 10 x 500 identitate vorbitori
2 Corpus Mara Corpus Swara
(doar voci fem.)
Model Mara 10 x 500 identitate vorbitori
3 Corpus Mara Corpus Swara Model Mara cu ponderile tokenilor de stil fixate 10 x 500 identitate vorbitori
4 Corpus Mara Corpus Swara
+
Mara
Model Mara cu întregul modul GST fixat 10 x 500 + 500 MARA expresive parțial prozodie
și
identitate vorbitori



Exemple transferul prozodiei către mai mulți vorbitori - cu un strat de reprezentări vectoriale pentru vorbitori (en. Speaker embedding)
No. Date pre-antrenare Date antrenare Voce Naturală Control stiluri prozodice Inițializări Număr propoziții antrenare Informația din Global Style Tokens
Voce eigen Token 1 Token 5 Token 7
1 Corpus Mara Corpus Swara Model Mara 10 x 500 identitate vorbitori

Contact Us

adriana.stan@com.utcluj.ro

mircea.giurgiu@com.utcluj.ro

beata.lorincz@com.utcluj.ro

maria.nutu@com.utcluj.ro