Uber AI Solutions による LLM および AI モデルのテストと評価方法

モデルは与えられた指示をどれだけ適切に理解し、従えるでしょうか？これは、注文者サポート用のチャットボットやAIアシスタントのようなアプリケーションにとって不可欠です。

コンテンツ生成など創造性が求められる状況では、関連性を保ちながら魅力的で革新的な応答を提供できるモデルの能力をテストします。

この項目では、モデルがバイアス、攻撃的・有害な表現、誤情報などを含む有害なコンテンツの生成を回避しているかどうかに焦点を当てます。

モデルが複雑な情報を処理し、妥当で論理的な出力を生成する能力を評価します。

情報を提供するAIシステムにとって、事実性は不可欠です。私たちのテストは、モデルが真実で正確な内容を生成することを確実にします。

これは、人間の専門家と自動化されたシステムによる定期的な評価を含みます。目的は、前述の5つの領域にわたってモデルのパフォーマンスを定期的に確認することです。主な活動は次のとおりです:

• バージョン管理と回帰テスト: 改善点の追跡や退行の特定のために、モデルの異なるバージョンを比較します
• 探索的評価: 主要な開発マイルストーンにおいて、モデルの強みと弱みを詳細に評価し、最終的に包括的な報告書にまとめます

導入後も、継続的なモニタリングにより、AIモデルがパフォーマンスに関する期待に沿い続けることを確保します。自動システムが問題のある出力を検知してフラグを立て、その後、人間の専門家がレビューして問題を修正し、学習データセットを更新します。

この段階では、Uber はモデルの脆弱性を洗い出すことを専門とする人間の専門家チームを編成しています。このプロセスは、誤情報の拡散や不適切なコンテンツの生成などの有害な挙動を検出するよう設計されています。特定された問題は記録・分類され、追加のモデル学習やファインチューニングによって対処されます。