Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

Mitmekeelse häälandmete tootmise ühtse tootmisahela loomine

Kyutai tegi koostööd Uber AI Solutionsiga, et muuta häälandmete loomine üheks koordineeritud süsteemiks, selle asemel et hallata salvestamist, transkribeerimist, märgendamist ja kvaliteedikontrolli eraldi.

UAIS koordineeris mitmekeelsete salvestusprogrammide läbiviimist prantsuse, Brasiilia portugali, Euroopa ja Ladina-Ameerika hispaania ning saksa keeles. Hääletalendid said struktureeritud juhiseid, mis olid mõeldud emotsionaalse ja prosoodilise väljendusulatuse laiendamiseks, hõlmates empaatilist, sarkastilist, vihast, kurba, nutvat ja muid kõrge intensiivsusega kõneviise.

Töövoog ühendas tehisintellekti abil tehtud transkribeerimise inimliku kontrolliga, et tagada sõnasõnalised ärakirjad, emotsioonide märgendid, kõnevälised sündmused ja muu metaandmestik. Standardiseeritud kvaliteedikriteeriume rakendati kõigi kõnelejate ja salvestuspartiide puhul, muutes kvaliteedikontrolli tootmisprotsessi pidevaks osaks, mitte lõplikuks kontrollpunktiks.

See töömudel aitas Kyutail säilitada järjepidevust, kui programm laienes erinevatesse keeltesse, kõnelejatele ja üha keerukamatele häälenõuetele.

Üksikasjaliku andmekogumi edastamine väljendusrikka mitmekeelse kõnesünteesi jaoks

Koostöö tulemusel loodi struktureeritud mitmekeelne koolitusandmestik, mis on kohandatud Kyutai väljendusvõimelise TTS-i vajadustele.

Lisaks andmekogule endale lõi koostöö korduvkasutatava protsessi talendi haldamiseks, kvaliteedi salvestamiseks, märgistamiseks ja vastuvõtukriteeriumide määramiseks erinevates hajutatud keeleprogrammides. See alus vähendas muutlikkust enne, kui andmed jõudsid mudeli koolitusse, ning andis Kyutaile järjepidevama viisi tulevaste kõneandmekogude loomiseks vastavalt muutuvatele nõuetele.