Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

Creación de proceso de producción unificado para datos de voz multilingües

Kyutai se asoció con Uber AI Solutions para gestionar la creación de datos de voz como un único sistema coordinado, en lugar de administrar la grabación, la transcripción, la anotación y el control de calidad de forma independiente.

UAIS coordinó programas de grabación multilingües en francés, portugués brasileño, español europeo y latinoamericano, y alemán. Los intérpretes de voz recibieron indicaciones estructuradas diseñadas para ampliar su rango emocional y prosódico, incluidos estilos de habla empáticos, sarcásticos, enojados, tristes, con llanto y otros de alta intensidad.

El proceso combinó la transcripción asistida por IA con la verificación humana de las transcripciones literales, las etiquetas de emociones, los eventos no verbales y otros metadatos. Se aplicaron criterios de calidad estandarizados a todos los hablantes y lotes de grabación, de modo que el control de calidad fuera una parte continua de la producción y no una revisión final.

Este modelo operativo ayudó a Kyutai a mantener la coherencia a medida que el programa se expandió a más idiomas y hablantes, y a requisitos de voz cada vez más específicos.

Proporcionar un conjunto de datos detallado para la síntesis de voz multilingüe expresiva

Este proyecto generó una fuente estructurada de datos de preparación multilingües, adaptada a los requisitos expresivos de síntesis de voz de Kyutai.

Más allá del conjunto de datos en sí, la colaboración estableció un proceso reproducible para gestionar el talento, la calidad de las grabaciones, la anotación y los criterios de aceptación en programas lingüísticos distribuidos. Esa base redujo la variabilidad antes de que los datos ingresaran al entrenamiento de los modelos y permitió a Kyutai contar con una forma más consistente de generar futuros conjuntos de datos de voz a medida que evolucionaban los requisitos.