Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

建立多語言語音資料的統一製作流程

Kyutai 與 Uber AI Solutions 合作，將語音資料建立流程整合為一套協同作業系統，而非分別獨立管理錄音、轉錄、標註及品質檢查等作業。

UAIS 協調了多語言錄音計畫，涵蓋法語、巴西葡萄牙語、歐洲和拉丁美洲西班牙語，以及德語。語音配音員接受了結構化指導，旨在擴大情緒和韻律範圍，包括同理心、諷刺、憤怒、悲傷、哭泣和其他高強度的語音風格。

工作流程結合 AI 輔助轉錄與人工驗證，以獲得逐字逐句的文字紀錄、情緒標籤、非語音事件和其他中繼資料。所有講者和錄製批次都採用標準化品質條件，使品質保證成為生產過程中的持續環節，而非最終檢查點。

隨著計畫擴展到不同語言和講者，以及日益細微的語音要求，這種運作模式有助於 Kyutai 維持一致性。

提供詳細的資料集，用於富有表現力的多語言 TTS

此次合作產生了一個結構化的多語言訓練資料來源，專為 Kyutai 富有表現力的 TTS 要求量身打造。

除了資料集本身，此次合作還建立了一個可重複的流程，用於管理人才、錄音品質、註解和分散式語言計畫的驗收標準。在資料進入模型訓練之前，這個基礎降低了變異性，並為 Kyutai 提供了一個更一致的方式，以便在未來需求變動時生成語音資料集。