Hlasová umělá inteligence na profesionální úrovni vyžaduje víc než jen sběr hlasových dat

Kyutai posouval hranice otevřeného hlasového a multimodálního AI, včetně konverzačních modelů v reálném čase a pokročilé generace řeči. Jak laboratoř směřovala k emocionálně expresivnímu převodu textu na řeč, dostupné datasety představovaly omezení. Základní databáze řeči mohly zajistit srozumitelnost, ale často postrádaly emocionální nuance, konverzační rozmanitost a vícejazyčnou konzistenci potřebnou k vytvoření přirozeně znějících hlasů.

Sestavení těchto datových sad přineslo značnou provozní složitost. Mluvčí museli udržovat konzistentní identitu a kvalitu nahrávek napříč jednotlivými sezeními a zároveň předvádět různé emoce a styly řeči. Přepisy, označení emocí, neslovní události, výslovnost a metadata musely zůstat přesné napříč jazyky i nahrávacími dávkami. Aby bylo možné proces rozšířit, potřeboval Kyutai řízený výrobní postup, který by umožnil konzistentní tvorbu expresivních vícejazyčných dat.

Vytváření jednotného produkčního procesu pro vícejazyčná hlasová data

Kyutai spolupracoval s Uber AI Solutions na zajištění tvorby hlasových dat jako jednoho koordinovaného systému, místo aby se nahrávání, přepis, anotace a kontrola kvality řešily samostatně.

UAIS koordinovala vícejazyčné nahrávací programy ve francouzštině, brazilské portugalštině, evropské a latinskoamerické španělštině a němčině. Hlasoví interpreti obdrželi strukturované pokyny zaměřené na rozšíření emocionálního a prozodického rozsahu, včetně empatického, sarkastického, rozzlobeného, smutného, plačícího a dalších vysoce intenzivních stylů projevu.

Pracovní postup kombinoval přepisování s asistencí AI a lidské ověřování pro doslovné přepisy, označení emocí, neslovní události a další metadata. Standardizovaná kritéria kvality byla uplatňována napříč mluvčími a dávkami nahrávek, takže kontrola kvality byla nepřetržitou součástí produkce, nikoli jen závěrečným krokem.

Tento provozní model pomohl Kyutai udržet konzistenci, když se program rozšiřoval do dalších jazyků, mezi různé mluvčí a při stále náročnějších požadavcích na hlas.

Doručení podrobné sady dat pro expresivní vícejazyčnou syntézu řeči

Spolupráce přinesla strukturovaný zdroj vícejazyčných tréninkových dat přizpůsobených expresivním požadavkům TTS společnosti Kyutai.

Kromě samotné datové sady tato spolupráce vytvořila opakovatelný proces pro správu vydělávajících, záznam kvality, anotace a akceptačních kritérií napříč distribuovanými jazykovými programy. Tento základ snížil variabilitu ještě před tím, než data vstoupila do trénování modelu, a poskytl Kyutai konzistentnější způsob generování budoucích hlasových datových sad podle měnících se požadavků.