Production-grade voice AI requires more than speech collection

Kyutai was pushing the boundaries of open voice and multimodal AI, including real-time conversational models and advanced speech generation.As the lab moved toward emotionally expressive text-to-speech, available datasets presented a limitation. Basic speech databases could support intelligibility, but they often lacked the emotional nuance, conversational variation, and multilingual consistency needed to produce natural-sounding voices.

Building the datasets introduced significant operational complexity. Speakers needed to maintain consistent identities and recording quality across sessions while delivering varied emotions and speaking styles. Transcripts, emotion labels, non-speech events, pronunciation, and metadata also had to remain accurate across languages and recording batches. To scale, Kyutai needed a governed production process capable of creating expressive multilingual data consistently.

다국어 음성 데이터를 위한 통합 제작 파이프라인 구축

Kyutai는 Uber AI Solutions와 협력하여 녹음, 전사, 주석 달기, QA를 각각 따로 관리하는 대신, 음성 데이터 생성을 하나의 통합된 시스템으로 운영했습니다.

UAIS는 프랑스어, 브라질 포르투갈어, 유럽 및 라틴 아메리카 스페인어, 독일어 등 여러 언어에 걸쳐 다국어 녹음 프로그램을 조율했습니다. 성우들은 공감, 냉소, 분노, 슬픔, 울음 등 다양한 고강도 감정 표현을 포함하여 감정 및 운율 범위를 확장할 수 있도록 체계적인 지침을 받았습니다.

이 워크플로우는 AI 지원 전사와 인간 검증을 결합하여, 완전한 전사본, 감정 라벨, 비언어적 이벤트 및 기타 메타데이터를 처리했습니다. 표준화된 품질 기준이 화자와 녹음 배치 전반에 적용되어, QA가 최종 점검이 아닌 생산 과정의 지속적인 일부가 되었습니다.

이 운영 모델은 프로그램이 다양한 언어, 화자, 그리고 점점 더 세밀해지는 음성 요구 사항으로 확장됨에 따라 Kyutai가 일관성을 유지하는 데 도움이 되었습니다.

표현력 있는 다국어 TTS를 위한 상세 데이터셋 제공

이번 협업을 통해 Kyutai의 표현력 있는 TTS 요구 사항에 맞춘 체계적인 다국어 학습 데이터 소스를 마련할 수 있었습니다.

데이터셋 자체를 넘어서, 이번 협업을 통해 분산된 언어 프로그램 전반에 걸쳐 인재 관리, 품질 기록, 주석 작업, 승인 기준을 체계적으로 관리할 수 있는 반복 가능한 프로세스가 구축되었습니다. 이러한 기반 덕분에 데이터가 모델 학습에 투입되기 전에 변동성이 줄어들었고, 요구 사항이 변화하더라도 Kyutai가 앞으로 음성 데이터셋을 보다 일관되게 생성할 수 있는 방법을 마련할 수 있었습니다.