La IA de voz de nivel profesional requiere más que la simple recopilación de voz

Kyutai estaba ampliando los límites de la voz abierta y la IA multimodal, incluidos modelos conversacionales en tiempo real y generación de voz avanzada. A medida que el laboratorio avanzaba hacia la conversión de texto a voz con expresividad emocional, los conjuntos de datos disponibles presentaban una limitación. Las bases de datos de voz básicas podían garantizar la inteligibilidad, pero a menudo carecían de los matices emocionales, la variación conversacional y la coherencia multilingüe necesarios para producir voces con un sonido natural.

La creación de los conjuntos de datos introdujo una complejidad operativa considerable. Los hablantes debían mantener una identidad y una calidad de grabación constantes entre las distintas sesiones, al tiempo que transmitían diferentes emociones y estilos de habla. Las transcripciones, las etiquetas de emociones, los eventos no verbales, la pronunciación y los metadatos también debían ser precisos en todos los idiomas y lotes de grabación. Para poder crecer, Kyutai necesitaba un proceso de producción controlado que permitiera crear datos multilingües expresivos de manera coherente.

Creación de proceso de producción unificado para datos de voz multilingües

Kyutai se asoció con Uber AI Solutions para gestionar la creación de datos de voz como un único sistema coordinado, en lugar de administrar la grabación, la transcripción, la anotación y el control de calidad de forma independiente.

UAIS coordinó programas de grabación multilingües en francés, portugués brasileño, español europeo y latinoamericano, y alemán. Los intérpretes de voz recibieron indicaciones estructuradas diseñadas para ampliar su rango emocional y prosódico, incluidos estilos de habla empáticos, sarcásticos, enojados, tristes, con llanto y otros de alta intensidad.

El proceso combinó la transcripción asistida por IA con la verificación humana de las transcripciones literales, las etiquetas de emociones, los eventos no verbales y otros metadatos. Se aplicaron criterios de calidad estandarizados a todos los hablantes y lotes de grabación, de modo que el control de calidad fuera una parte continua de la producción y no una revisión final.

Este modelo operativo ayudó a Kyutai a mantener la coherencia a medida que el programa se expandió a más idiomas y hablantes, y a requisitos de voz cada vez más específicos.

Proporcionar un conjunto de datos detallado para la síntesis de voz multilingüe expresiva

Este proyecto generó una fuente estructurada de datos de preparación multilingües, adaptada a los requisitos expresivos de síntesis de voz de Kyutai.

Más allá del conjunto de datos en sí, la colaboración estableció un proceso reproducible para gestionar el talento, la calidad de las grabaciones, la anotación y los criterios de aceptación en programas lingüísticos distribuidos. Esa base redujo la variabilidad antes de que los datos ingresaran al entrenamiento de los modelos y permitió a Kyutai contar con una forma más consistente de generar futuros conjuntos de datos de voz a medida que evolucionaban los requisitos.