Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

Criação de um pipeline de produção unificado para dados de voz multilingues.

A Kyutai estabeleceu uma parceria com a Uber AI Solutions para operacionalizar a criação de dados de voz como um sistema coordenado, em vez de gerir a gravação, transcrição, anotação e controlo de qualidade de forma independente.

A UAIS coordenou programas de gravação multilingue em francês, português brasileiro, espanhol europeu e latino-americano e alemão. Os locutores receberam orientações estruturadas concebidas para expandir a gama emocional e prosódica, incluindo estilos de discurso empáticos, sarcásticos, zangados, tristes, chorosos e outros estilos de discurso de elevada intensidade.

O fluxo de trabalho combinou a transcrição assistida por IA com a verificação humana de transcrições literais, etiquetas de emoção, eventos sem fala e outros metadados. Foram aplicados critérios de qualidade padronizados a todos os locutores e lotes de gravação, tornando o controlo de qualidade uma parte contínua da produção e não um ponto de verificação final.

Este modelo operacional ajudou a Kyutai a manter a consistência à medida que o programa se expandia para vários idiomas, locutores e requisitos de voz cada vez mais diferenciados.

Fornecer um conjunto de dados detalhado para TTS multilíngue expressivo

O compromisso produziu uma fonte estruturada de dados de formação multilingues adaptados aos requisitos de TTS expressiva da Kyutai.

Para além do conjunto de dados em si, a colaboração estabeleceu um processo repetível para a gestão de talentos, qualidade de gravação, anotação e critérios de aceitação em todos os programas de idiomas distribuídos. Essa base reduziu a variabilidade antes de os dados entrarem na formação do modelo e deu à Kyutai uma forma mais consistente de gerar futuros conjuntos de dados de discurso à medida que os requisitos evoluíam.