実用レベルの音声 AI に必要なのは、音声収集だけではありません

Kyutai はリアルタイム対話モデルや高度な音声生成など、オープンボイスとマルチモーダル AI の限界を押し広げていました。同研究所が感情表現豊かなテキスト音声合成へと移行する中で、利用可能なデータセットには限界がありました。 基本的な音声データベースでも聞き取りやすさは確保できましたが、自然な音声を生成するために必要な感情のニュアンス、会話表現の多様性、多言語間の一貫性が不足していることが少なくありませんでした。

こうしたデータセットの構築には、複雑な運用管理が伴いました。話者は、さまざまな感情や話し方を表現しながら、セッションをまたいでも同じ話者としての声の一貫性と収録品質を維持する必要がありました。文字起こし、感情ラベル、非音声イベント、発音、メタデータについても、言語や収録バッチをまたいで正確さを保つ必要がありました。規模を拡大するには、表現力豊かな多言語データを安定して作成でき、品質や運用を一貫して管理できる制作プロセスが必要でした。

多言語音声データのための統合制作パイプラインの構築

Kyutai は Uber AI Solutions と提携し、収録、文字起こし、アノテーション、QA を個別に管理するのではなく、一連のプロセスとして連携して運用できる体制を整えました。

UAIS は、フランス語、ブラジルポルトガル語、欧州スペイン語、中南米スペイン語、ドイツ語を対象に、多言語の音声収録プログラムを一元的に運営しました。声優には、共感、皮肉、怒り、悲しみ、泣き声など、さまざまな感情表現や韻律を引き出すための体系的な指導を行いました。

このワークフローでは、AI を活用した文字起こしと人による確認を組み合わせ、発話どおりの文字起こし、感情ラベル、非音声イベント、その他のメタデータを作成しました。話者や収録バッチ全体に共通の品質基準を適用し、QA を最終段階のチェックではなく、制作プロセス全体で継続的に行う仕組みにしました。

この運用モデルにより、対象となる言語や話者が増え、音声要件がより多様化・高度化する中でも、Kyutai は一貫した品質を維持できました。

表現力豊かな多言語 TTS 向けの充実したデータセットを提供

この取り組みにより、Kyutai の表現力豊かな TTS の要件に合わせた、体系的な多言語トレーニングデータが構築されました。

データセットそのものに加え、この協業では、複数の言語プログラムにまたがって声優、収録品質、アノテーション、受け入れ基準を管理するための反復運用できるプロセスも確立しました。この基盤により、データをモデルのトレーニングに投入する前のばらつきを抑え、要件の変化に応じて将来の音声データセットも一貫した方法で作成できるようになりました。