Для создания голосового ИИ промышленного уровня требуется не только сбор речевых данных

Kyutai расширял границы открытых голосовых и мультимодальных ИИ, включая модели для общения в реальном времени и продвинутую генерацию речи. По мере того как лаборатория переходила к созданию эмоционально выразительного синтеза речи, доступные наборы данных становились ограничивающим фактором. Базовые базы данных речи обеспечивали разборчивость, но часто не хватало эмоциональных оттенков, разнообразия в диалогах и многоязыковой согласованности, необходимых для создания естественно звучащих голосов.

Создание этих наборов данных привело к значительным операционным сложностям. Спикерам необходимо было сохранять постоянство идентичности и качества записи на протяжении всех сессий, при этом демонстрируя разнообразные эмоции и стили речи. Транскрипты, метки эмоций, несвязанные с речью события, произношение и метаданные также должны были оставаться точными во всех языках и партиях записей. Для масштабирования Kyutai потребовался управляемый производственный процесс, способный стабильно создавать выразительные многоязычные данные.

Создание единого производственного процесса для многоязычных голосовых данных

Kyutai объединила усилия с Uber AI Solutions, чтобы организовать создание голосовых данных как единую скоординированную систему вместо раздельного управления записью, расшифровкой, аннотированием и контролем качества.

UAIS координировала многоязычные программы записи на французском, бразильском португальском, европейском и латиноамериканском испанском, а также немецком языках. Актёры озвучивания получали структурированные рекомендации, направленные на расширение эмоционального и просодического диапазона, включая эмпатичные, саркастические, сердитые, грустные, плачущие и другие высокоинтенсивные стили речи.

Рабочий процесс сочетал автоматическую транскрипцию с помощью ИИ и проверку человеком для получения дословных транскриптов, маркировки эмоций, несвязанных с речью событий и другой метаинформации. Единые критерии качества применялись ко всем дикторам и партиям записей, что делало контроль качества постоянной частью производства, а не финальным этапом.

Эта модель работы помогла Kyutai сохранять последовательность по мере расширения программы на новые языки, спикеров и всё более сложные требования к голосу.

Предоставление детализированного набора данных для выразительного многоязычного синтеза речи

В результате сотрудничества был создан структурированный источник многоязычных обучающих данных, адаптированных под требования Kyutai к выразительному синтезу речи.

Помимо самого набора данных, сотрудничество позволило создать воспроизводимый процесс управления специалистами, контроля качества, аннотирования и определения критериев приемки в распределённых языковых программах. Эта основа снизила вариативность до поступления данных на этап обучения модели и обеспечила Kyutai более стабильный способ формирования будущих наборов данных для распознавания речи по мере изменения требований.