Uber AI 솔루션이 LLM 및 AI 모델을 테스트하고 평가하는 방법

모델이 주어진 지침을 얼마나 잘 이해하고 따르는가요? 이는 고객 서비스 챗봇이나 AI 어시스턴트와 같은 애플리케이션에서 매우 중요합니다.

창의성이 요구되는 콘텐츠 생성과 같은 상황에서는, 모델이 관련성을 유지하면서도 흥미롭고 혁신적인 답변을 제공하는 능력을 평가합니다.

이 영역은 모델이 편향, 유해성, 허위 정보 등 해로운 콘텐츠 생성을 피하는지 여부에 중점을 둡니다.

우리는 모델이 복잡한 정보를 처리하고 신뢰할 수 있으며 논리적인 결과를 제공하는 능력을 평가합니다.

AI 시스템이 정보를 제공할 때 사실성은 매우 중요합니다. 저희의 테스트는 모델이 진실되고 정확한 콘텐츠를 생성하도록 보장합니다.

이 작업에는 인간 전문가와 자동화된 시스템에 의한 주기적인 평가가 포함됩니다. 목표는 앞서 언급한 5가지 영역 전반에 걸쳐 모델의 성능을 정기적으로 점검하는 것입니다. 주요 활동은 다음과 같습니다:

• 버전 관리 및 회귀 테스트: 우리는 다양한 모델 버전을 비교하여 개선 사항을 추적하거나 문제 발생 여부를 확인합니다
• 탐색적 평가: 주요 개발 단계마다 모델의 강점과 약점을 심층적으로 평가하며, 그 결과를 종합 보고서로 제공합니다

배포 이후에도 지속적인 모니터링을 통해 AI 모델이 성능 기대치에 부합하도록 유지합니다. 자동화된 시스템이 문제 있는 결과를 감지하면, 해당 결과는 전문가가 검토하여 문제를 수정하고 학습 데이터셋을 업데이트합니다.

이 단계에서 Uber는 모델의 취약점을 드러내기 위해 특별히 구성된 인간 전문가 팀을 투입합니다. 이 과정은 잘못된 정보를 퍼뜨리거나 부적절한 콘텐츠를 생성하는 등 유해한 행동을 포착하기 위해 설계되었습니다. 문제가 발견되면 해당 이슈들은 목록화되어 추가적인 모델 학습과 미세 조정을 통해 해결됩니다.