生產級別的 AI 語音不僅需要語音收集

Kyutai 致力於突破開放式語音和複合式 AI 的技術極限，包括即時對話模型和進階語音生成技術。隨著實驗室朝向更具情感表現力的文字轉語音技術發展，現有資料集的侷限也逐漸浮現。 基本語音資料庫雖能支援語音清晰度，卻往往缺乏生成自然語音所需的情感細節、對話變化和跨語言一致性。

建立這類資料集也大幅增加了營運上的複雜度。錄音者必須在不同錄音階段維持一致的身分特徵和錄音品質，同時呈現多樣的情緒和說話風格。逐字稿、情緒標籤、非語音事件、發音和中繼資料，也必須在不同語言和各批次錄音中維持準確。為了擴大規模，Kyutai 需要一套具完善管理機制的製作流程，以持續穩定產出富有情感表現力的多語言資料。

建立多語言語音資料的統一製作流程

Kyutai 與 Uber AI Solutions 合作，將語音資料建立流程整合為一套協同作業系統，而非分別獨立管理錄音、轉錄、標註及品質檢查等作業。

UAIS 協調了多語言錄音計畫，涵蓋法語、巴西葡萄牙語、歐洲和拉丁美洲西班牙語，以及德語。語音配音員接受了結構化指導，旨在擴大情緒和韻律範圍，包括同理心、諷刺、憤怒、悲傷、哭泣和其他高強度的語音風格。

工作流程結合 AI 輔助轉錄與人工驗證，以獲得逐字逐句的文字紀錄、情緒標籤、非語音事件和其他中繼資料。所有講者和錄製批次都採用標準化品質條件，使品質保證成為生產過程中的持續環節，而非最終檢查點。

隨著計畫擴展到不同語言和講者，以及日益細微的語音要求，這種運作模式有助於 Kyutai 維持一致性。

提供詳細的資料集，用於富有表現力的多語言 TTS

此次合作產生了一個結構化的多語言訓練資料來源，專為 Kyutai 富有表現力的 TTS 要求量身打造。

除了資料集本身，此次合作還建立了一個可重複的流程，用於管理人才、錄音品質、註解和分散式語言計畫的驗收標準。在資料進入模型訓練之前，這個基礎降低了變異性，並為 Kyutai 提供了一個更一致的方式，以便在未來需求變動時生成語音資料集。