उत्पादन-स्तरीय व्हॉइस एआयसाठी केवळ भाषण संकलन पुरेसे नाही

Kyutai ओपन व्हॉइस आणि मल्टीमोडल एआयच्या कक्षा रुंदावत होते, ज्यात रिअल-टाइम संभाषणात्मक मॉडेल्स आणि प्रगत भाषण निर्मितीचा समावेश होता.जसजशी ही प्रयोगशाळा भावनिकदृष्ट्या अभिव्यक्त करणाऱ्या टेक्स्ट-टू-स्पीचच्या दिशेने वाटचाल करू लागली, तसतसे उपलब्ध डेटासेट्समुळे एक मर्यादा निर्माण झाली. मूलभूत स्पीच डेटाबेस सुगम्यता टिकवून ठेवू शकत होते, परंतु नैसर्गिक वाटणारे आवाज तयार करण्यासाठी आवश्यक असलेल्या भावनिक सूक्ष्मता, संभाषणातील विविधता आणि बहुभाषिक सुसंगततेची त्यांच्यात अनेकदा कमतरता होती.

डेटासेट तयार करताना मोठ्या प्रमाणावर कार्यात्मक गुंतागुंत निर्माण झाली. स्पीकर्सना विविध भावना आणि बोलण्याच्या शैलींसह सत्रांमध्ये सातत्यपूर्ण ओळख आणि रेकॉर्डिंगची गुणवत्ता राखावी लागली. ट्रान्सक्रिप्ट्स, भावना लेबले, नॉन-स्पीच इव्हेंट्स, उच्चार आणि मेटाडेटा हे देखील भाषांमध्ये आणि रेकॉर्डिंग बॅचेसमध्ये अचूक राहणे आवश्यक होते. हे प्रमाण वाढवण्यासाठी, Kyutai ला एक शासित उत्पादन प्रक्रिया आवश्यक होती जी सातत्याने अभिव्यक्तिपूर्ण बहुभाषिक डेटा तयार करू शकेल.

अनेक भाषांतील व्हॉइस डेटासाठी एकसंध उत्पादन पाइपलाइन तयार करणे

Kyutai ने Uber AI Solutions सोबत भागीदारी केली आहे जेणेकरून व्हॉइस डेटा निर्मिती स्वतंत्रपणे रेकॉर्डिंग, ट्रान्सक्रिप्शन, अ‍ॅनोटेशन आणि QA व्यवस्थापित करण्याऐवजी एक समन्वित प्रणाली म्हणून कार्यान्वित करता येईल.

UAIS ने फ्रेंच, ब्राझिलियन पोर्तुगीज, युरोपियन आणि लॅटिन अमेरिकन स्पॅनिश, तसेच जर्मन या भाषांमध्ये समन्वित बहुभाषिक रेकॉर्डिंग कार्यक्रम राबवले. व्हॉइस टॅलेंटना भावनिक आणि स्वरातील विविधता वाढवण्यासाठी रचनात्मक मार्गदर्शन दिले गेले, ज्यामध्ये सहानुभूतीपूर्ण, उपरोधिक, रागावलेले, दुःखी, रडणारे आणि इतर उच्च-तीव्रतेच्या बोलण्याच्या शैलींचा समावेश होता.

AI-सहाय्यित ट्रान्सक्रिप्शन आणि मानवी पडताळणी यांचा संगम करून, अक्षरशः ट्रान्सक्रिप्ट्स, भावना लेबले, नॉन-स्पीच इव्हेंट्स आणि इतर मेटाडेटा तयार करण्यात आले. मानक गुणवत्ता निकष सर्व स्पीकर्स आणि रेकॉर्डिंग बॅचेसमध्ये लागू करण्यात आले, ज्यामुळे QA हा उत्पादन प्रक्रियेचा सातत्यपूर्ण भाग बनला, अंतिम तपासणीऐवजी.

हे ऑपरेटिंग मॉडेल Kyutai ला कार्यक्रम विविध भाषा, वक्ते आणि अधिक सूक्ष्म आवाजाच्या गरजांसह विस्तारत असताना सातत्य राखण्यास मदत झाली.

एक्सप्रेसिव बहुभाषिक TTS साठी सविस्तर डेटासेट प्रदान करणे

या सहभागामुळे Kyutai च्या अभिव्यक्त TTS गरजांसाठी अनुरूप अशा बहुभाषिक प्रशिक्षण डेटाचा संरचित स्रोत तयार झाला.

डेटासेटच्या पलीकडे, या सहकार्यामुळे प्रतिभा व्यवस्थापन, गुणवत्ता नोंदणी, एनोटेशन आणि स्वीकार्यता निकषांसाठी एक पुनरावृत्तीयोग्य प्रक्रिया स्थापन झाली, जी वितरित भाषा कार्यक्रमांमध्ये लागू केली गेली. या पायाभरणीमुळे डेटामध्ये मॉडेल प्रशिक्षणापूर्वी असलेली विविधता कमी झाली आणि आवश्यकतांमध्ये बदल होत असताना Kyutai ला भविष्यातील भाषण डेटासेट्स तयार करण्यासाठी अधिक सुसंगत मार्ग मिळाला.