كيف تقوم حلول الذكاء الاصطناعي في أوبر باختبار وتقييم نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة

ما مدى فهم النموذج واتباعه للتعليمات الموجهة إليه؟ هذا أمر بالغ الأهمية للتطبيقات مثل روبوتات الدردشة لخدمة العملاء أو المساعدين الذكيين.

في الحالات التي تتطلب الإبداع، مثل إنشاء المحتوى، نقوم باختبار قدرة النموذج على تقديم ردود مبتكرة وجذابة مع الحفاظ على الصلة بالموضوع.

تركز هذه المنطقة على ما إذا كان النموذج يتجنب إنتاج محتوى ضار، بما في ذلك التحيزات، والمحتوى المسيء، والمعلومات المضللة.

نحن نقيم قدرة النموذج على معالجة المعلومات المعقدة وتقديم نتائج منطقية وموثوقة.

تُعد الدقة في المعلومات أمرًا أساسيًا لأنظمة الذكاء الاصطناعي التي تقدم المعلومات. تضمن اختباراتنا أن النماذج تنتج محتوى صادقًا ودقيقًا.

يتضمن ذلك تقييمات دورية يجريها خبراء بشريون وأنظمة آلية. الهدف هو مراجعة أداء النموذج بشكل منتظم عبر المجالات الخمسة المذكورة سابقًا. تشمل الأنشطة الرئيسية ما يلي:

• التحكم في الإصدارات واختبار التراجع: نقارن بين إصدارات النماذج المختلفة لتتبع التحسينات أو تحديد أي تراجع في الأداء
• التقييم الاستكشافي: عند الوصول إلى مراحل تطوير رئيسية، نقوم بإجراء تقييمات معمقة لنقاط القوة والضعف في النموذج، مما يؤدي إلى إعداد تقرير شامل

حتى بعد النشر، يضمن المراقبة المستمرة أن تظل نماذج الذكاء الاصطناعي متوافقة مع توقعات الأداء. تقوم أنظمتنا الآلية بالإشارة إلى أي مخرجات إشكالية، ليقوم الخبراء بمراجعتها وتصحيح المشكلات وتحديث مجموعات بيانات التدريب.

في هذه المرحلة، توظف أوبر فريقًا من الخبراء البشريين الذين يهدفون بشكل خاص إلى كشف نقاط ضعف النموذج. تم تصميم هذه العملية لاكتشاف أي سلوكيات ضارة، مثل نشر معلومات مضللة أو إنتاج محتوى غير مناسب. بعد تحديد هذه المشكلات، يتم توثيقها ومعالجتها من خلال تدريب إضافي للنموذج وتحسينه.