Tootmistaseme häälega tehisintellekt nõuab enamat kui lihtsalt kõneandmete kogumist.

Kyutai nihutas avatud kõne- ja multimodaalse tehisintellekti piire, sealhulgas reaalajas toimuvate vestlusmudelite ja arenenud kõne genereerimise vallas. Kuna labor asus tegutsema emotsionaalselt väljendusrikka tekst-kõnega (TTS) seotud tehnoloogiaga, seadsid olemasolevad andmehulgad neile piirangud. Põhilised kõneandmebaasid toetasid arusaadavust, kuid neil puudusid sageli emotsionaalsed nüansid, vestlusvariatsioonid ja mitmekeelne järjepidevus, mis olid vajalikud loomuliku kõlaga häälte loomiseks.

Andmete kogumite loomine tõi kaasa märkimisväärse tööprotsessi keerukuse. Kõnelejatel tuli säilitada järjepidev identiteet ja salvestuskvaliteet erinevate sessioonide jooksul, samal ajal esitada erinevaid emotsioone ja kõneviise. Transkriptsioonid, emotsioonisildid, kõnevälised sündmused, hääldus ja metaandmed pidid samuti jääma täpseteks eri keeltes ja salvestuspartiides. Mastaapsuse saavutamiseks vajas Kyutai juhitud tootmisprotsessi, mis võimaldaks järjepidevalt luua väljendusrikast mitmekeelset andmestikku.

Mitmekeelse häälandmete tootmise ühtse tootmisahela loomine

Kyutai tegi koostööd Uber AI Solutionsiga, et muuta häälandmete loomine üheks koordineeritud süsteemiks, selle asemel et hallata salvestamist, transkribeerimist, märgendamist ja kvaliteedikontrolli eraldi.

UAIS koordineeris mitmekeelsete salvestusprogrammide läbiviimist prantsuse, Brasiilia portugali, Euroopa ja Ladina-Ameerika hispaania ning saksa keeles. Hääletalendid said struktureeritud juhiseid, mis olid mõeldud emotsionaalse ja prosoodilise väljendusulatuse laiendamiseks, hõlmates empaatilist, sarkastilist, vihast, kurba, nutvat ja muid kõrge intensiivsusega kõneviise.

Töövoog ühendas tehisintellekti abil tehtud transkribeerimise inimliku kontrolliga, et tagada sõnasõnalised ärakirjad, emotsioonide märgendid, kõnevälised sündmused ja muu metaandmestik. Standardiseeritud kvaliteedikriteeriume rakendati kõigi kõnelejate ja salvestuspartiide puhul, muutes kvaliteedikontrolli tootmisprotsessi pidevaks osaks, mitte lõplikuks kontrollpunktiks.

See töömudel aitas Kyutail säilitada järjepidevust, kui programm laienes erinevatesse keeltesse, kõnelejatele ja üha keerukamatele häälenõuetele.

Üksikasjaliku andmekogumi edastamine väljendusrikka mitmekeelse kõnesünteesi jaoks

Koostöö tulemusel loodi struktureeritud mitmekeelne koolitusandmestik, mis on kohandatud Kyutai väljendusvõimelise TTS-i vajadustele.

Lisaks andmekogule endale lõi koostöö korduvkasutatava protsessi talendi haldamiseks, kvaliteedi salvestamiseks, märgistamiseks ja vastuvõtukriteeriumide määramiseks erinevates hajutatud keeleprogrammides. See alus vähendas muutlikkust enne, kui andmed jõudsid mudeli koolitusse, ning andis Kyutaile järjepidevama viisi tulevaste kõneandmekogude loomiseks vastavalt muutuvatele nõuetele.