Obiectiv general: SINTERO are ca obiectiv general
crearea unui sistem de sinteză text-vorbire în limba română ce permite
modelarea și controlul prozodiei (intonația în vorbire) într-un mod apropiat
de vorbirea naturală. Alături de acest obiectiv, se urmărește crearea a cât
mai multor voci sintetizate în limba română (în acest proiect minim 10 voci),
astfel încât acestea să poată fi utilizate de o comunitate extinsă, inclusiv
în aplicații comerciale.
Motivație: Sistemele de sinteză text-vorbire au atins în
ultimii ani un nivel de naturalețe a vocii sintetizate foarte ridicat, astfel
încât utilizarea lor în aplicații comerciale de automatizare a interacțiunii
om-mașină devine din ce în ce mai larg utilizată și extrem de profitabilă.
Cu toate acestea, există o serie de limitări ale acestor sisteme. O primă
limitare provine din numărul de voci sintetizate disponibile pentru o
anumită limbă, fapt ce nu permite personalizarea sistemului de sinteză
pentru anumite cerințe specifice ale clienților (de ex. sinteza vocală a
unei cărți cu propria voce). Tipic, pentru a crea o nouă voce sintetizată
de calitate este nevoie ca un vorbitor să petreacă un timp îndelungat într-un
studio de înregistrări, ajungând chiar la zeci sau sute de ore de date
colectate. Metodele recente de adaptare a vorbitorilor în cadrul sistemelor
de sinteză parametrice pot să reducă acest timp până la ordinul zecilor de
minute, însă rezultatele nu sunt întotdeauna cele mai bune. O a doua limitare
se referă la expresivitatea acestor sisteme. Dacă pentru sistemele de
informare vocală, cu mesaje scurte, lipsa expresivității nu este problematică,
pentru redarea unor texte mai lungi sau a unui stil verbal diferit de cel
informativ, provocările științifice și tehnice sunt avansate deoarece
expresivitatea este foarte greu de formalizat într-un limbaj abstract, compact
și ușor de transpus tehnic într-un set de instrucțiuni programatice.
Planul de lucru: Proiectul este structurat în 3 etape,
corespunzătoare etapelor de raportare. Fiecare etapă se bazează atât pe
rezultatele etapelor sau a studiilor anterioare din cadrul proiectului,
cât și pe rezultatele obținute în proiectele paralele din cadrul proiectului
complex, după cum urmează:
:: Etapa 1. Metode de modelare și control a expresivității în sistemele de
sinteză text-vorbire (M1 – M3)
:: Etapa 2. Implementarea componentelor pentru modelarea prozodiei și
adaptarea la noi vorbitori a vocilor sintetizate (M4-M15)
:: Etapa 3. Dezvoltarea unei noi tehnologii de realizare a interfețelor
om-mașină pentru sinteza text-vorbire cu expresivitate (M16-M27)
Consorțiu
Institutul de Cercetări pentru Inteligență Artificială “Mihai Drăgănescu” București
Universitatea Tehnică din Cluj-Napoca
Universitatea "Politehnica" București
Universitatea "Alexandru Ioan Cuza" Iași
Echipa
Universitatea Tehnică din Cluj-Napoca
prof. Mircea GIURGIU
dr. Adriana STAN
drd. Beáta LŐRINCZ
drd. Maria NUȚU
Institutul de Cercetări pentru Inteligență Artificială ”Mihai Drăgănescu” din București
Beáta Lőrincz, Adriana Stan, Mircea Giurgiu, Speaker verification-derived loss and data augmentation for DNN-based multispeaker speech synthesis, Accepted at EUSIPCO 2021.
Beáta Lőrincz, Adriana Stan, Mircea Giurgiu, An objective evaluation of the effects of recording conditions and speaker characteristics in multi-speaker deep neural speech synthesis, Accepted at the 25th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
Dan Oneață, Alexandru Caranica, Adriana Stan, Horia Cucu, "An Evaluation of Word-level Confidence Estimation for end-to-end Automatic Speech Recognition", In Proceedings of the 8th IEEE Spoken Language Technology Workshop (SLT 2021), Shenzhen, China, 2021 [pdf]
Beáta Lőrincz, Maria Nutu, Adriana Stan, Mircea Giurgiu "An Evaluation of Postfiltering for Deep Learning Based Speech Synthesis with Limited Data", IEEE 10th International Conference on Intelligent Systems (IS), Bulgaria, 2020 [pdf]
Beáta Lőrincz, "Concurrent phonetic transcription, lexical stress assignment and syllabification with deep neural networks", Proceedings of the 24th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems KES2020, 2020 [pdf]
Adriana Stan, "RECOApy: Data Recording, Pre-Processing and Phonetic Transcription for End-to-End Speech-Based Applications", In Proceedings of the Interspeech, Shanghai, China, 2020 [bib] | [pdf]
Kristen M Scott, Simone Ashby, Adriana Stan "Designing a Synthesized Content Feed System for Community Radio", Proceedings of the 11th Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society, Estonia, 2020 [pdf]
Adriana Stan, "Input Encoding for Sequence-to-Sequence Learning of Romanian Grapheme-to-Phoneme Conversion", In Proceedings of the 10th IEEE International Conference on Speech Technology and Human-Computer Dialogue (SpeD), Timisoara, Romania, 2019 [bib] | [pdf]
Beáta Lőrincz, Maria Nuțu, Adriana Stan, "Romanian Part of Speech Tagging using LSTM Networks", In Proceedings of the IEEE 15th International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, Romania, 2019 [bib] | [pdf]
Maria Nuțu, Beáta Lőrincz, Adriana Stan,"Deep Learning for Automatic Diacritics Restoration in Romanian", In Proceedings of the IEEE 15th International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, Romania, 2019.
[bib] | [pdf]
David A. Braude, Matthew P. Aylett, Caoimhin Laoide-Kemp, Simone Ashby, Kristen M. Scott, Brian O Raghallaigh, Anna Braudo, Alex Brouwer, Adriana Stan,"All Together Now: The Living Audio Dataset", In Proceedings of Interspeech, Graz, Austria, 2019.
[bib] | [pdf]
Adriana Stan, Mircea Giurgiu, A Comparison Between Traditional Machine Learning Approaches And Deep Neural Networks For Text Processing
In Romanian, in Proc. of the 13th International Conference on Linguistic Resources and Tools for Processing Romanian Language, 22-23 November, Jassy, Romania [bib] | [pdf]
Lucrări de diplomă/disertație
Andreea Sarca -”Automatic speech recognition system for Romanian using Deep Speech”, lucrare de diplomă, iulie 2020
Roxana Marcu -”Automatic language identification from text”, lucrare de diplomă, iulie 2020.
Ștefana Cîmpean -”Recunoașterea emoțiilor din vorbire folosind învățarea automată”, lucrare de diplomă, iulie 2020
Florin Ciotlăuș -”Music analysis using BLSTM and CNNs”, lucrare de diplomă, iulie 2020
Cătălin Avram -”Automatic speaker recognition from SWARA corpus”, lucrare de diplomă, iulie 2020.
Stagii de practică
Georgiana Săracu -„Detecția stărilor depresive pe baza analizei semnalului vocal”, iulie-august 2020.
Vlad Crehul-„Implementation of a Tacotron-based text to speech synthesis system”, iulie-august 2020.
Vlad Crehul-„Testing experiments with Deep Speech automatic speech recognition for Romanian”, iulie-august 2020.
Bogdan Oros-„Linear regression applied for speech classification”, iulie-august 2020
Ana Gheorghiu-„Analysis of prosodic events for music classification”, iulie-august 2020.
Demonstratoare
Metode de adaptare a vocilor la stiluri expresive [link]
Mostre audio ale sistemelor de sinteză text-vorbire în limba română bazate pe arhitectura Tacotron-GST [link]
Mostre audio ale sistemelor de sinteză text-vorbire în limba română dezvoltate în etapa 3 a proiectului [link]
Contact
mircea.giurgiu@com.utcluj.ro
Institutul de Cercetări pentru Inteligență Artificială “Mihai Drăgănescu” (ICIA)
Institutul de Cercetări pentru Inteligență Artificială “Mihai Drăgănescu” (ICIA) a fost înfiinţat în 1994 ca un centru de competenţa şi diseminare activă de cunoştinţe în domeniul Inteligenţei Artificiale (IA). ICIA are un nucleu de personal permanent de cercetare şi un număr restrâns de cercetători consultanţi. Pe lângă aceştia, un număr variabil de colaboratori pe bază de contract, în principal studenţi la doctorat sau la masterat, participă la activităţile de cercetare/dezvoltare ale institutului. În cadrul procedurilor de evaluare anuale ale Academiei Române, în fiecare an, de la înfiinţarea sa, ICIA a fost calificat drept instituţie de excelenţă. În 2001 a câştigat competiţia pentru Centrele de Excelenţă (în Ştiinţa şi Tehnologia Informaţiei) organizată de Ministerul Educaţiei şi Ştiinţei. În 2002 a fost clasat ca fiind cel mai performant institut al Academiei Române (dintre cele 60 de institute şi centre). Din anul 2002, ICIA a obţinut dreptul de organizare de doctorat în sistemul Academiei Române. În 2008 ICIA a fost acreditat ca instituţie şi unitate de cercetare-dezvoltare, unitate componentă a sistemului de cercetare-dezvoltare de interes naţional, conform HG NR. 551/2007.
Invatamantul tehnic s-a afirmat inca de la inceputul secolului XIX pe firmamentul valorilor culturale ale municipiului Cluj-Napoca. Realizarea statului national unitar roman, la 1 decembrie 1918, a deschis perspective noi pentru invatamantul de toate gradele. La 1 februarie 1920 este infiintata Scoala Superioara Industriala, noua institutie scolara trecand apoi printr-o suita de reorganizari si devenind, in 1922, Scoala de Conductori Tehnici. Era unica scoala de acest nivel in tara, cu profil electromecanic, precursoare a Politehnicii clujene.
O alta scoala cu profil tehnic creata in 1920 a fost Scoala de Conductori de Lucrari Publice, cu specific de drumuri si poduri, veritabila precursoare a Facultatii de Constructii. Scoala de conductori tehnici, care s-a bucurat de un important prestigiu in cadrul industriei romanesti, a fost reorganizata in 1937 ca Scoala de Subingineri Electromecanici.
In anul 1947, in urma unui memoriu adresat Ministerului Educatiei Nationale privind infiintarea unei Politehnici la Cluj cu trei facultati: Constructii, Electromecanica si Silvicultura, prin prevederile Legii pentru reforma invatamantului din august 1948, s-a creat Institutul de Mecanica din Cluj , avand o facultate cu doua sectii: Termotehnica si Masini de Lucru. Cresterea nevoii de cadre tehnice a facut ca, in anul 1953, Institutul de Mecanica sa se transforme in Institutul Politehnic din Cluj.
Dupa revolutia din 1989, invatamantul superior romanesc a revenit la traditia romaneasca corelata cu sistemul occidental. Incepand din 1992, Institutul Politehnic si-a schimbat denumirea in Universitatea Tehnica din Cluj-Napoca , iar din cele trei facultati existente la momentul respectiv, prin restructurare s-au constituit sapte facultati: Automatica si Calculatoare, Electronica, Telecomunicatii si Tehnologia Informatiei, Inginerie Electrica, Constructii, Constructii de Masini, Mecanica, Stiinta si Ingineria Materialelor (devenita in anul 2011 Ingineria Materialelor si a Mediului), precum si Colegiul Universitar Tehnic, Economic si de Administratie. In anul 1998, structura Universitatii Tehnice din Cluj-Napoca s-a completat cu Facultatea de Arhitectura si Urbanism iar in anul 2007, cu Facultatea de Instalatii.
Din anul 2012, Universitatea Tehnica din Cluj-Napoca are treisprezece facultati in urma fuziunii cu Universitatea de Nord din Baia-Mare care a devenit Centrul Universitar Nord din Baia-Mare avand in componenta Facultatea de Inginerie, Facultatea de Litere, Facultatea de Resurse Minerale si Mediu si Facultatea de Stiinte. In prezent, Universitatea Tehnica din Cluj-Napoca pregateste specialisti prin studii de licenta, masterat, doctorat si studii postuniversitare, numarul studentilor depasind 20000. Cercetarea stiintifica performanta, fundamentala sau aplicativa, reprezinta o preocupare esentiala a cadrelor didactice si cercetatorilor din UTCN. Potentialul stiintific de care dispune Universitatea a indreptatit-o sa organizeze sau sa fie implicata in organizarea unor manifestari stiintifice de anvergura, cu o larga participare a specialistilor romani si straini.
Universitatea POLITEHNICA din București este cea mai veche și prestigioasă școală de ingineri din România. Tradițiile ei sunt legate de înființarea, în anul 1818, de către Gheorghe Lazăr, a primei Școli tehnice superioare cu predare în limba română, la mănăstirea Sfântul Sava din București. În anul 1832, aceasta este reorganizată în Colegiul de la Sfântul Sava.
.
La 1 octombrie 1864, a fost înființată “Școala de Poduri și Sosele, Mine și Arhitectură”, care la 30 octombrie 1867 devine “Școala de Poduri, Șosele și Mine”, cu durata studiilor de 5 ani. Sub conducerea lui Gheorghe Duca, la 1 aprilie 1881, instituția capătă o nouă structură, sub denumirea de “Școala Națională de Poduri și Șosele”; la 10 iunie 1920 a fost înființată Școala Politehnica din București, având patru secții: Electromecanică, Construcții, Mine și Metalurgie, Secția Industrială..
Din noiembrie 1920 denumirea se schimbă în POLITEHNICA din București..
La data de 3 august 1948 a fost înființat Institutul Politehnic din București, care cuprindea inițial 4 facultăți și în care, din 1950, au apărut majoritatea facultăților actuale. In baza rezoluției Senatului din noiembrie 1992, Institutul Politehnic din București a devenit Universitatea POLITEHNICA din București..
În Universitatea POLITEHNICA din București sunt pregătiți oamenii fără de care societatea, așa cum o cunoaștem astăzi, nu ar putea funcționa – inginerii. Suntem un popor cu abilități tehnice moștenite, cu înclinare nativă pentru inginerie și, de multe ori, inginerii români și-au adăugat numele în panteonul științei mondiale..
Universitatea "Alexandru Ioan Cuza" din Iași (UAIC)
O istorie a Universităţii din Iaşi ne poartă prin lecţiile manualului de istorie a românilor, încă din secolul al XVI-lea. Dacă, în general, existenţa unei universităţi este legată de contextul istoric, în România Universitatea din Iaşi a avut de multe ori rolul de creatoare de istorie. În secolul al XVII-lea, de exemplu, universitatea a fost un adăpost al culturii bizantine; mai târziu a fost unul dintre cei mai importanţi factori ai răspândirii limbii române şi ai culturii autohtone; după înfiinţarea sa ca prima instituţie de învăţământ superior modern a României, universitatea a furnizat statului cei mai importanţi gânditori şi actori în viaţa publică pentru ca, în perioada comunismului, să menţină viu spiritul umanist.
