Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

کثیر لسانی صوتی ڈیٹا کے لیے ایک متحدہ پروڈکشن پائپ لائن تیار کرنا

Kyutai نے Uber AI Solutions کے ساتھ شراکت داری کی تاکہ وائس ڈیٹا کی تخلیق کو ایک مربوط نظام کے طور پر عملی شکل دی جا سکے، بجائے اس کے کہ ریکارڈنگ، ٹرانسکرپشن، تشریح اور QA کو الگ الگ طور پر سنبھالا جائے۔

UAIS نے فرانسیسی، برازیلی پرتگالی، یورپی اور لاطینی امریکی ہسپانوی، اور جرمن زبانوں میں کثیر لسانی ریکارڈنگ پروگرامز کو مربوط کیا۔ وائس ٹیلنٹ کو منظم رہنمائی فراہم کی گئی جس کا مقصد جذباتی اور آہنگی کی وسعت کو بڑھانا تھا، جس میں ہمدردانہ، طنزیہ، غصے، اداسی، رونے اور دیگر شدت والے بولنے کے انداز شامل تھے۔

ورک فلو میں AI کی مدد سے ٹرانسکرپشن کو انسانی تصدیق کے ساتھ ملایا گیا تاکہ لفظ بہ لفظ ٹرانسکرپٹس، جذبات کے لیبلز، غیر گفتاری واقعات اور دیگر میٹا ڈیٹا تیار کیا جا سکے۔ معیاری معیارِ معیار کو تمام مقررین اور ریکارڈنگ بیچز پر لاگو کیا گیا، جس سے QA پیداوار کا مسلسل حصہ بن گیا بجائے اس کے کہ یہ صرف آخری مرحلہ ہو۔

اس آپریٹنگ ماڈل نے کیوٹائی کو یہ پروگرام مختلف زبانوں، مقررین اور مزید پیچیدہ آواز کی ضروریات میں پھیلنے کے دوران مستقل مزاجی برقرار رکھنے میں مدد دی۔

ایکسپریسیو کثیر لسانی TTS کے لیے ایک تفصیلی ڈیٹاسیٹ فراہم کرنا

اس تعاون کے نتیجے میں Kyutai کی اظہار پسند TTS ضروریات کے مطابق ایک منظم، کثیر لسانی تربیتی ڈیٹا کا ماخذ تیار ہوا۔

ڈیٹا سیٹ کے علاوہ، اس تعاون نے ٹیلنٹ کے انتظام، معیار کی ریکارڈنگ، تشریح، اور تقسیم شدہ زبان پروگراموں میں قبولیت کے معیار کے لیے ایک قابلِ تکرار عمل قائم کیا۔ اس بنیاد نے ماڈل کی تربیت میں ڈیٹا شامل ہونے سے پہلے تغیر کو کم کیا اور کیوٹائی کو مستقبل میں تقریری ڈیٹا سیٹس تیار کرنے کا ایک زیادہ مستقل طریقہ فراہم کیا، جیسے جیسے تقاضے بدلتے گئے۔