Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

Creando una cadena de producción unificada para datos de voz multilingües

Kyutai se asoció con Uber AI Solutions para operacionalizar la creación de datos de voz como un sistema coordinado, en lugar de gestionar la grabación, transcripción, anotación y control de calidad de forma independiente.

UAIS coordinó programas de grabación multilingües en francés, portugués de Brasil, español de España y de Latinoamérica, y alemán. Los locutores recibieron una guía estructurada diseñada para ampliar el rango emocional y prosódico, incluyendo estilos de habla empáticos, sarcásticos, enojados, tristes, llorosos y otros de alta intensidad.

El flujo de trabajo combinó la transcripción asistida por IA con la verificación humana para obtener transcripciones literales, etiquetas de emociones, eventos no verbales y otros metadatos. Se aplicaron criterios de calidad estandarizados en todos los hablantes y lotes de grabación, haciendo que el control de calidad fuera una parte continua de la producción en lugar de un control final.

Este modelo operativo ayudó a Kyutai a mantener la coherencia a medida que el programa se expandía a través de diferentes idiomas, hablantes y requisitos de voz cada vez más específicos.

Entregando un conjunto de datos detallado para TTS multilingüe expresivo

La colaboración produjo una fuente estructurada de datos de entrenamiento multilingües adaptada a los requisitos expresivos de TTS de Kyutai.

Más allá del propio conjunto de datos, la colaboración estableció un proceso repetible para gestionar el talento, registrar la calidad, la anotación y los criterios de aceptación en programas de idiomas distribuidos. Esa base redujo la variabilidad antes de que los datos ingresaran al entrenamiento del modelo y le dio a Kyutai una forma más consistente de generar futuros conjuntos de datos de voz a medida que evolucionaban los requisitos.