للحصول على ذكاء اصطناعي صوتي بمستوى جاهز للإنتاج الفعلي، لا تكفي مجرد عملية جمع البيانات الصوتية

سعت شركة كيوتاي إلى توسيع آفاق الذكاء الاصطناعي الصوتي ومتعدد الوسائط (multimodal) المفتوح، وعملت على تطوير تقنيات مثل نماذج المحادثة الفورية وتقنيات توليد الصوت المتقدمة. ومع توجه المختبر نحو تقنيات توليد الكلام المعبر عاطفياً، تبين أن مجموعات البيانات المتاحة لم تكن كافية. فعلى الرغم من أن قواعد البيانات الصوتية القياسية ساعدت في ضمان الوضوح، إلا أنها كانت تفتقر غالباً إلى التفاصيل العاطفية الدقيقة، والتنوع في أساليب المحادثة، والاتساق عبر اللغات المختلفة؛ وهي عناصر ضرورية لإنتاج أصوات ذات نبرة طبيعية.

وقد انطوت عملية بناء مجموعات البيانات هذه على تعقيدات تشغيلية كبيرة؛ إذ كان يتعين على المتحدثين التعبير عن مجموعة واسعة من المشاعر وأساليب الحديث مع الحفاظ على هوية صوتية ثابتة وجودة تسجيل موحدة عبر جلسات متعددة. علاوة على ذلك، كان لابد من ضمان دقة عناصر مثل النصوص، وتصنيفات المشاعر، والأحداث غير اللفظية، وطريقة النطق، والبيانات الوصفية، وذلك عبر مختلف اللغات ودفعات التسجيل. ولتحقيق التوسع بفعالية، احتاجت شركة كيوتاي إلى عملية إنتاج خاضعة للرقابة وقادرة على توليد بيانات معبِّرة وبشكل متسق عبر لغات متعددة.

إنشاء مسار إنتاج موحد للبيانات الصوتية متعددة اللغات

بالتعاون مع Uber AI Solutions، أدارت كيوتاي عملية توليد بيانات الكلام كنظام واحد متكامل، بدلاً من إدارة مراحل التسجيل والنسخ النصي والترميز وضمان الجودة بشكل منفصل.

نسَّّقت UAIS برامج تسجيل متعددة اللغات شملت الفرنسية، والبرتغالية البرازيلية، والإسبانية (بنسختيها الأوروبية وأمريكا اللاتينية)، والألمانية. تلقى المعلقون الصوتيون إرشادات منهجية مصممة لتوسيع نطاق أدائهم العاطفي والصوتي، بما يغطي مجموعة متنوعة من التعبيرات العاطفية القوية، مثل التعاطف، والسخرية، والغضب، والحزن، والبكاء إلى جانب أنماط كلامية أخرى تتطلب مستويات عالية من الانفعال.

جمعت آلية العمل بين عمليات النسخ المدعومة بالذكاء الاصطناعي والتحقق البشري للنصوص الحرفية، وتصنيفات المشاعر، والأحداث غير اللفظية، وغيرها من البيانات الوصفية. كما طُبِّقت معايير جودة موحدة شملت جميع المتحدثين ودفعات التسجيل، مما جعل ضمان الجودة جزءاً جوهرياً ومستمراً من عملية الإنتاج، بدلاً من الاكتفاء بكونه مجرد مرحلة فحص نهائية.

ساعد هذا النموذج التشغيلي شركة كيوتاي في الحفاظ على الاتساق مع توسع البرنامج ليشمل لغاتٍ ومتحدثين متنوعين، ومتطلباتٍ صوتية تزداد دقةً وتفصيلاً.

توفير مجموعة بيانات مفصلة لتوليد الكلام متعدد اللغات بتعبير غني

أسفر التعاون عن توفير مصدر منظم لبيانات تدريب متعددة اللغات مصممة خصيصًا لتلبية متطلبات تحويل النص إلى كلام التعبيري لدى Kyutai.

بالإضافة إلى مجموعة البيانات نفسها، أسست هذه الشراكة عملية قابلة للتكرار لإدارة المواهب، وتوثيق الجودة، والتعليق، ومعايير القبول عبر برامج اللغات الموزعة. هذا الأساس ساهم في تقليل التباين قبل إدخال البيانات في تدريب النماذج، ومنح Kyutai طريقة أكثر اتساقًا لإنشاء مجموعات بيانات صوتية مستقبلية مع تطور المتطلبات.