프로덕션 수준의 음성 AI를 구현하려면 음성 수집 이상의 작업 필요

Kyutai는 실시간 대화형 모델과 고급 음성 생성 기술을 비롯해 오픈 음성과 멀티모달 AI의 한계를 뛰어넘고 있었습니다. 연구소가 감정을 풍부하게 표현하는 텍스트 음성 변환(TTS)으로 영역을 확장하면서 사용 가능한 데이터 세트의 한계가 드러났습니다. 기본적인 음성 데이터베이스는 음성의 명료도를 지원할 수 있었지만, 자연스러운 음성을 구현하는 데 필요한 감정이 실린 뉘앙스, 다양한 대화 표현, 다국어 간의 일관성이 부족한 경우가 많았습니다.

데이터 세트를 구축하는 과정에서는 운영이 상당히 복잡해졌습니다. 녹음 참여자는 다양한 감정과 화법을 표현하면서도 여러 세션에서 일관된 화자 특성과 녹음 품질을 유지해야 했습니다. 또한 언어별 및 녹음 배치별로 트랜스크립트, 감정 라벨, 비음성 이벤트, 발음, 메타데이터의 정확도도 유지되어야 했습니다. Kyutai는 이러한 작업을 확장하기 위해 감정을 풍부하게 표현하는 다국어 데이터를 일관되게 생성할 수 있으며, 관리되는 프로덕션 프로세스가 필요했습니다.

다국어 음성 데이터를 위한 통합 제작 파이프라인 구축

Kyutai는 Uber AI Solutions와 협력하여 녹음, 전사, 주석 달기, QA를 각각 따로 관리하는 대신, 음성 데이터 생성을 하나의 통합된 시스템으로 운영했습니다.

UAIS는 프랑스어, 브라질 포르투갈어, 유럽 및 라틴 아메리카 스페인어, 독일어 등 여러 언어에 걸쳐 다국어 녹음 프로그램을 조율했습니다. 성우들은 공감, 냉소, 분노, 슬픔, 울음 등 다양한 고강도 감정 표현을 포함하여 감정 및 운율 범위를 확장할 수 있도록 체계적인 지침을 받았습니다.

이 워크플로우는 AI 지원 전사와 인간 검증을 결합하여, 완전한 전사본, 감정 라벨, 비언어적 이벤트 및 기타 메타데이터를 처리했습니다. 표준화된 품질 기준이 화자와 녹음 배치 전반에 적용되어, QA가 최종 점검이 아닌 생산 과정의 지속적인 일부가 되었습니다.

이 운영 모델은 프로그램이 다양한 언어, 화자, 그리고 점점 더 세밀해지는 음성 요구 사항으로 확장됨에 따라 Kyutai가 일관성을 유지하는 데 도움이 되었습니다.

표현력 있는 다국어 TTS를 위한 상세 데이터셋 제공

이번 협업을 통해 Kyutai의 표현력 있는 TTS 요구 사항에 맞춘 체계적인 다국어 학습 데이터 소스를 마련할 수 있었습니다.

데이터셋 자체를 넘어서, 이번 협업을 통해 분산된 언어 프로그램 전반에 걸쳐 인재 관리, 품질 기록, 주석 작업, 승인 기준을 체계적으로 관리할 수 있는 반복 가능한 프로세스가 구축되었습니다. 이러한 기반 덕분에 데이터가 모델 학습에 투입되기 전에 변동성이 줄어들었고, 요구 사항이 변화하더라도 Kyutai가 앞으로 음성 데이터셋을 보다 일관되게 생성할 수 있는 방법을 마련할 수 있었습니다.