Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

إنشاء مسار إنتاج موحد للبيانات الصوتية متعددة اللغات

بالتعاون مع Uber AI Solutions، أدارت كيوتاي عملية توليد بيانات الكلام كنظام واحد متكامل، بدلاً من إدارة مراحل التسجيل والنسخ النصي والترميز وضمان الجودة بشكل منفصل.

نسَّّقت UAIS برامج تسجيل متعددة اللغات شملت الفرنسية، والبرتغالية البرازيلية، والإسبانية (بنسختيها الأوروبية وأمريكا اللاتينية)، والألمانية. تلقى المعلقون الصوتيون إرشادات منهجية مصممة لتوسيع نطاق أدائهم العاطفي والصوتي، بما يغطي مجموعة متنوعة من التعبيرات العاطفية القوية، مثل التعاطف، والسخرية، والغضب، والحزن، والبكاء إلى جانب أنماط كلامية أخرى تتطلب مستويات عالية من الانفعال.

جمعت آلية العمل بين عمليات النسخ المدعومة بالذكاء الاصطناعي والتحقق البشري للنصوص الحرفية، وتصنيفات المشاعر، والأحداث غير اللفظية، وغيرها من البيانات الوصفية. كما طُبِّقت معايير جودة موحدة شملت جميع المتحدثين ودفعات التسجيل، مما جعل ضمان الجودة جزءاً جوهرياً ومستمراً من عملية الإنتاج، بدلاً من الاكتفاء بكونه مجرد مرحلة فحص نهائية.

ساعد هذا النموذج التشغيلي شركة كيوتاي في الحفاظ على الاتساق مع توسع البرنامج ليشمل لغاتٍ ومتحدثين متنوعين، ومتطلباتٍ صوتية تزداد دقةً وتفصيلاً.

توفير مجموعة بيانات مفصلة لتوليد الكلام متعدد اللغات بتعبير غني

أسفر التعاون عن توفير مصدر منظم لبيانات تدريب متعددة اللغات مصممة خصيصًا لتلبية متطلبات تحويل النص إلى كلام التعبيري لدى Kyutai.

بالإضافة إلى مجموعة البيانات نفسها، أسست هذه الشراكة عملية قابلة للتكرار لإدارة المواهب، وتوثيق الجودة، والتعليق، ومعايير القبول عبر برامج اللغات الموزعة. هذا الأساس ساهم في تقليل التباين قبل إدخال البيانات في تدريب النماذج، ومنح Kyutai طريقة أكثر اتساقًا لإنشاء مجموعات بيانات صوتية مستقبلية مع تطور المتطلبات.