Une IA vocale prête pour la production nécessite plus que la simple collecte de données vocales.

Kyutai repoussait les limites des technologies vocales ouvertes et de l’IA multimodale, notamment les modèles conversationnels en temps réel et la génération vocale avancée.Alors que le laboratoire s’orientait vers une synthèse vocale capable d’exprimer des émotions, les jeux de données disponibles représentaient une contrainte. Les bases de données vocales élémentaires pouvaient assurer l’intelligibilité, mais elles manquaient souvent de nuances émotionnelles, de variation conversationnelle et de cohérence multilingue nécessaires pour produire des voix au rendu naturel.

La création des ensembles de données a introduit une importante complexité opérationnelle. Les locuteurs devaient maintenir des identités cohérentes et une qualité d’enregistrement uniforme d’une séance à l’autre, tout en exprimant des émotions et des styles de parole variés. Les transcriptions, les étiquettes d’émotions, les événements non verbaux, la prononciation et les métadonnées devaient aussi rester précis d’une langue à l’autre et d’un lot d’enregistrements à l’autre. Pour passer à l’échelle, Kyutai avait besoin d’un processus de production encadré, capable de produire de manière constante des données multilingues expressives.

Création d’un pipeline de production unifié pour des données vocales multilingues

Kyutai a collaboré avec Uber AI Solutions pour mettre en place un système coordonné unique de création de données vocales, plutôt que de gérer séparément l’enregistrement, la transcription, l’annotation et l’assurance qualité.

UAIS a coordonné des programmes d’enregistrement multilingues en français, en portugais brésilien, en espagnol européen et latino-américain, ainsi qu’en allemand. Les talents vocaux ont reçu des directives structurées visant à élargir leur palette émotionnelle et prosodique, notamment des styles de parole empathique, sarcastique, en colère, triste, en pleurs et d’autres styles à haute intensité.

Le flux de travail alliait transcription assistée par IA et vérification humaine pour les transcriptions mot à mot, les étiquettes d’émotion, les événements non parlés et d’autres métadonnées. Des critères de qualité normalisés ont été appliqués pour l’ensemble des locuteurs et des lots d’enregistrements, faisant de l’assurance qualité une composante continue de la production plutôt qu’un point de contrôle final.

Ce modèle opérationnel a permis à Kyutai de maintenir la cohérence à mesure que le programme s'étendait à un nombre croissant de langues et de locuteurs, ainsi qu'à des exigences vocales de plus en plus nuancées.

Mise à disposition d’un jeu de données détaillé pour la synthèse vocale multilingue expressive

Ce mandat a produit une source structurée de données d'entraînement multilingues adaptées aux exigences de TTS expressif de Kyutai.

Au-delà du jeu de données lui-même, la collaboration a établi un processus reproductible pour la gestion des talents, la qualité des enregistrements, l’annotation et les critères d’acceptation dans des programmes linguistiques répartis. Cette base a réduit la variabilité avant que les données ne soient utilisées pour l’entraînement des modèles et a donné à Kyutai une façon plus cohérente de générer de futurs ensembles de données vocales à mesure que les exigences évoluaient.