Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

多言語音声データのための統合制作パイプラインの構築

Kyutai は Uber AI Solutions と提携し、収録、文字起こし、アノテーション、QA を個別に管理するのではなく、一連のプロセスとして連携して運用できる体制を整えました。

UAIS は、フランス語、ブラジルポルトガル語、欧州スペイン語、中南米スペイン語、ドイツ語を対象に、多言語の音声収録プログラムを一元的に運営しました。声優には、共感、皮肉、怒り、悲しみ、泣き声など、さまざまな感情表現や韻律を引き出すための体系的な指導を行いました。

このワークフローでは、AI を活用した文字起こしと人による確認を組み合わせ、発話どおりの文字起こし、感情ラベル、非音声イベント、その他のメタデータを作成しました。話者や収録バッチ全体に共通の品質基準を適用し、QA を最終段階のチェックではなく、制作プロセス全体で継続的に行う仕組みにしました。

この運用モデルにより、対象となる言語や話者が増え、音声要件がより多様化・高度化する中でも、Kyutai は一貫した品質を維持できました。

表現力豊かな多言語 TTS 向けの充実したデータセットを提供

この取り組みにより、Kyutai の表現力豊かな TTS の要件に合わせた、体系的な多言語トレーニングデータが構築されました。

データセットそのものに加え、この協業では、複数の言語プログラムにまたがって声優、収録品質、アノテーション、受け入れ基準を管理するための反復運用できるプロセスも確立しました。この基盤により、データをモデルのトレーニングに投入する前のばらつきを抑え、要件の変化に応じて将来の音声データセットも一貫した方法で作成できるようになりました。