SINTERO: Tehnologii de realizare a interfețelor om-mașină pentru sinteza text-vorbire cu expresivitate


Proiect finanțat de Ministerul Cercetării și Inovării, Program PN-III-P1-1.2.-PCCDI, nr. 73/2018, durata: 2018-2020

Proiect component al proiectului complex

RETEROM

...
Proiecte paralele

COBILIRO TEPROLIN TADARAV

Descrierea proiectului SINTERO

Obiectiv general: SINTERO are ca obiectiv general crearea unui sistem de sinteză text-vorbire în limba română ce permite modelarea și controlul prozodiei (intonația în vorbire) într-un mod apropiat de vorbirea naturală. Alături de acest obiectiv, se urmărește crearea a cât mai multor voci sintetizate în limba română (în acest proiect minim 10 voci), astfel încât acestea să poată fi utilizate de o comunitate extinsă, inclusiv în aplicații comerciale.

Motivație: Sistemele de sinteză text-vorbire au atins în ultimii ani un nivel de naturalețe a vocii sintetizate foarte ridicat, astfel încât utilizarea lor în aplicații comerciale de automatizare a interacțiunii om-mașină devine din ce în ce mai larg utilizată și extrem de profitabilă. Cu toate acestea, există o serie de limitări ale acestor sisteme. O primă limitare provine din numărul de voci sintetizate disponibile pentru o anumită limbă, fapt ce nu permite personalizarea sistemului de sinteză pentru anumite cerințe specifice ale clienților (de ex. sinteza vocală a unei cărți cu propria voce). Tipic, pentru a crea o nouă voce sintetizată de calitate este nevoie ca un vorbitor să petreacă un timp îndelungat într-un studio de înregistrări, ajungând chiar la zeci sau sute de ore de date colectate. Metodele recente de adaptare a vorbitorilor în cadrul sistemelor de sinteză parametrice pot să reducă acest timp până la ordinul zecilor de minute, însă rezultatele nu sunt întotdeauna cele mai bune. O a doua limitare se referă la expresivitatea acestor sisteme. Dacă pentru sistemele de informare vocală, cu mesaje scurte, lipsa expresivității nu este problematică, pentru redarea unor texte mai lungi sau a unui stil verbal diferit de cel informativ, provocările științifice și tehnice sunt avansate deoarece expresivitatea este foarte greu de formalizat într-un limbaj abstract, compact și ușor de transpus tehnic într-un set de instrucțiuni programatice.

Planul de lucru: Proiectul este structurat în 3 etape, corespunzătoare etapelor de raportare. Fiecare etapă se bazează atât pe rezultatele etapelor sau a studiilor anterioare din cadrul proiectului, cât și pe rezultatele obținute în proiectele paralele din cadrul proiectului complex, după cum urmează:

:: Etapa 1. Metode de modelare și control a expresivității în sistemele de sinteză text-vorbire (M1 – M3)

:: Etapa 2. Implementarea componentelor pentru modelarea prozodiei și adaptarea la noi vorbitori a vocilor sintetizate (M4-M15)

:: Etapa 3. Dezvoltarea unei noi tehnologii de realizare a interfețelor om-mașină pentru sinteza text-vorbire cu expresivitate (M16-M27)

Consorțiu

ICIA
Institutul de Cercetări pentru Inteligență Artificială “Mihai Drăgănescu” București
Universitatea Tehnică din Cluj-Napoca
Universitatea "Politehnica" București
Universitatea "Alexandru Ioan Cuza" Iași

Echipa

Universitatea Tehnică din Cluj-Napoca

prof. Mircea GIURGIU

dr. Adriana STAN


Institutul de Cercetări pentru Inteligență Artificială ”Mihai Drăgănescu” din București

acad. Dan TUFIȘ

dr. Verginica MITITELU

dr. Radu ION

dr. Elena IRIMIA


Universitatea ”Politehnica” din București

prof. Corneliu BURILEANU

prof. Dragoș BURILEANU

dr. Horia CUCU

dr. Dan ONEAȚĂ


Universitatea ”Alexandru Ioan Cuza” din Iași

prof. Dan CRISTEA

dr. Anca BIBIRI

dr. Ionuț PISTOL

dr. Diana TRANDABĂȚ

Rezultate

Rapoarte științifice

  • Raport etapa 1
  • Raport etapa 2
  • Raport etapa 3

Publicații

  • Adriana Stan, Mircea Giurgiu, A Comparison Between Traditional Machine Learning Approaches And Deep Neural Networks For Text Processing In Romanian, in Proc. of the 13th International Conference on Linguistic Resources and Tools for Processing Romanian Language, 22-23 November, Jassy, Romania [bib]|[pdf]

Diseminare media

... în curs de actualizare

Contact

mircea.giurgiu@com.utcluj.ro