The MARA corpus: Expressivity in end-to-end TTS systems using synthesised speech data
Audio Samples
Adriana Stan1, Beáta Lőrincz1,2, Maria Nuţu1,2, Mircea Giurgiu1
1Communications Department, Technical University of Cluj-Napoca, Romania 2Department of Computer Science, ”Babeş-Bolyai” University, Cluj-Napoca, Romania
Abstract: This paper introduces the MARA corpus, a large expressive Romanian speech corpus containing over 11 hours of high-quality data recorded by a professional female speaker. The data is orthographically transcribed, manually segmented at utterance level and semi-automatically aligned at phone-level. The associated text is also processed by a complete linguistic feature extractor composed of: text normalization, phonetic transcription, syllabification, lexical stress assignment, lemma extraction, part-of-speech tagging, chunking and dependency parsing. Using the expressive data from the MARA corpus, we then evaluate the use of synthesised speech as training data in end-to-end speech synthesis systems. The synthesised data copies the original phone durations and F0 patterns of the most expressive utterances from the speech corpus. Five systems with different type of expressive data are trained. The results show that the low quality of the synthesised speech data is averaged out by the synthesis network, and that no statistically significant differences are found between the systems' expressivity and naturalness evaluations.
Listening test - Naturalness section samples
Text
Natural
Tac:FLAT
Tac:ALL
Tac:Merlin
Tac:HTS
Tac:HTS-PF
HTS-orig
La masa cea mare din birtul de la Sărărie, unde beamterii puneau lumea la cale, era, ce-i drept, lucru hotărât că Garibaldi are, cu toți ai lui, să pață mare rușine.
Venise adică și știrea că italienii au început să arunce beamteri în mare, în lacul Guarda, în râul Adige, și mare minune n-ar fi fost dacă ungurii s-ar fi luat și ei după italieni.
Pătrunsă în adevăr de simțământul că Trică n-are să fie luat la oaste, ea rostise aceste vorbe cu atâta căldură, încât Persida se liniști pe deplin și, uitând cele petrecute, o îmbrățișă și o sărută la despărțire ca pe cea mai bună, acum chiar singura ei prietenă.
Îndată ce l-a văzut pe Bocioacă, Mara a și dat cu socoteala că el vine pus la cale de nevasta lui și s-a pus la pândă, ca să vadă ce vrea și cum are să-l apuce.
Desfăcându-se din brațele Marei, Hubăroaie trecu apoi pe lângă fiul ei și se duse la Persida, ca să o sărute de mai multe ori tot în tăcere, cu dragoste și cu sfială.
Listening test - Expressivity section samples
Text
Natural
Tac:FLAT
Tac:ALL
Tac:Merlin
Tac:HTS
Tac:HTS-PF
HTS-orig
Feciorii duși la cătănie pe la Mantua, Verona și Veneția scriau de acolo că s-a ivit un oarecare Garibaldi, mare general, care umblă să-i adune pe italieni sub arme și să-i ridice asupra împăratului;
Scos, sărman de el, din ale lui, despărțit de mamă-sa, la care ținea din zi în zi mai mult, și învrăjbit cu tată-său, care se uita în altă parte când se întâmpla să-l întâlnească, el trăia și nu trăia.
Persida nu se supăra deci dacă el pleca serile, ca să însoțească pe vreunul dintre beamterii mai fricoși, și încurcându-se mai pe ici, mai pe colo, se întorcea numai târziu după miezul nopții.
Deși n-avea de gând să-i vorbească lui Bocioacă, Marta era din ce în ce mai neliniștită de gândul că vine recrutarea și astfel din ce în ce mai hotărâtă de a face tot ceea ce-i stă prin putință ca să-l scape pe Trică.
Ca apucată de nebunie, ea se dete jos din pat, se îmbrăcă în pripă și ieși tiptil din casă, apoi o luă ca o stafie prin noaptea geroasă drept spre Sărărie,