Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

Création d'un pipeline de production unifié pour les données vocales multilingues

Kyutai s'est associée à Uber AI Solutions pour opérationnaliser la création de données vocales en un seul système coordonné plutôt que de gérer séparément l'enregistrement, la transcription, l'annotation et l'assurance qualité.

UAIS a coordonné des programmes d'enregistrement multilingues en français, portugais brésilien, espagnol européen, espagnol américain et allemand. Les acteurs vocaux ont reçu des conseils structurés conçus pour élargir la gamme émotionnelle et prosodique, notamment les styles de parole empathique, sarcastique, en colère, triste, en pleurs et d'autres styles de parole émotionnels.

Le flux de travail combinait la transcription assistée par l'IA et la vérification humaine pour les transcriptions textuelles, les étiquettes d'émotion, les événements non vocaux et d'autres métadonnées. Des critères de qualité standardisés ont été appliqués à tous les locuteurs et à tous les lots d'enregistrement, faisant de l'assurance qualité une partie continue de la production plutôt qu'une simple vérification en fin de course.

Ce modèle opérationnel a aidé Kyutai à maintenir la cohérence alors que le programme s'étendait à d'autres langues, à d'autres locuteurs et à des exigences vocales de plus en plus nuancées.

Fournir un ensemble de données détaillé pour la synthèse vocale multilingue expressive

La mission a produit une source structurée de données d'entraînement multilingues adaptées aux exigences de Kyutai en matière de synthèse vocale expressive.

Au-delà de l'ensemble de données lui-même, la collaboration a permis de mettre en place un processus reproductible pour la gestion des talents, la qualité de l'enregistrement, l'annotation et les critères d'acceptation dans l'ensemble des programmes linguistiques distribués. Cette base a réduit la variabilité avant que les données n'entrent dans l'entraînement du modèle et a donné à Kyutai un moyen plus cohérent de générer de futurs ensembles de données vocales à mesure que les exigences évoluaient.