تجمع تقنيات الذكاء الاصطناعي المادي بيانات من العالم الحقيقي باستخدام أجهزة استشعار مثل الكاميرا، وأجهزة استشعار الضوء والمسافة (LiDAR)، والرادار، لتمكين النماذج الذكية المستخدمة في الأنظمة الذاتية والروبوتات من فهم البيئة المادية حتى تتمكن من العمل في ظروف العالم الواقعي.

دمج المستشعرات هو عملية جمع البيانات من عدة مستشعرات لتحسين دقة وموثوقية المعلومات. من خلال دمج المعلومات من أنواع مختلفة من المستشعرات (مثل ليدار، والرادار، والكاميرات)، يمكن للنظام تكوين صورة أكثر شمولاً عن البيئة المحيطة. كما يمكن لدمج المستشعرات تقليل تأثير الأخطاء أو الأعطال في أي مستشعر فردي. تُستخدم هذه التقنية في العديد من التطبيقات، بما في ذلك المركبات الذاتية القيادة (AV) والروبوتات.

يُعد دمج البيانات من أكثر التطبيقات شيوعًا لتقنية دمج المستشعرات، حيث يتم جمع معلومات من مستشعرات متنوعة مُثبتة على سيارة الأجرة الذاتية، بما في ذلك السحب النقطية ثلاثية الأبعاد من أجهزة LiDAR والصور الثنائية الأبعاد من الكاميرات الأمامية والجانبية والخلفية.

المستشعرات هي أجهزة تكتشف وتستجيب للمحفزات الفيزيائية مثل الضوء والحرارة والصوت. تستخدم أنواع مختلفة من المستشعرات تقنيات متنوعة لأداء وظائفها. على سبيل المثال، تستخدم مستشعرات LiDAR والرادار أشعة الليزر والموجات الراديوية لاستشعار البيئة المحيطة بها، بينما تستخدم المستشعرات فوق الصوتية الموجات الصوتية.

ليدار (الكشف والقياس الضوئي للمسافات)

دقة عالية، مدى طويل، واكتساب بيانات سريع. يُعد الليدار مثالياً لرسم الخرائط وتجنب العقبات في المركبات ذاتية القيادة والروبوتات.

الرادار (الكشف والتحديد باستخدام الموجات الراديوية)

يمكن لأجهزة استشعار الرادار اكتشاف الأجسام في ظروف الطقس المختلفة ومن مسافات بعيدة، مما يجعلها مثالية لتطبيقات مثل تجنب الاصطدام والقيادة الذاتية.

السونار (الملاحة الصوتية وتحديد المدى)

تُصدر حساسات السونار موجات صوتية وتقيس الوقت الذي تستغرقه الموجات للارتداد بعد اصطدامها بجسم ما. في مجال الروبوتات والسيارات، يمكن استخدامها لتحديد المسافة إلى الجسم.

الضوء المنظم

تستخدم مستشعرات الضوء المنظم ماسحًا ثلاثي الأبعاد لقياس أبعاد الجسم ثلاثية الأبعاد. الدقة العالية وجودة التفاصيل تجعله مناسبًا لتطبيقات المسح ثلاثي الأبعاد ورسم الخرائط.

مستشعر وقت الرحلة (ToF)

تُستخدم مستشعرات ToF لقياس المسافة باستخدام تقنية استشعار العمق. فهي سريعة وموثوقة، مما يجعلها خيارًا جيدًا لتطبيقات التعرف على الإيماءات، وتتبع الأجسام، وتوجيه الروبوتات.

مستشعر الرؤية المجسمة

تستخدم مستشعرات الرؤية المجسمة مستشعرين (أو أكثر) لمحاكاة الرؤية الثنائية للإنسان. الدقة العالية في استشعار العمق، وجودة الدقة المكانية، والتكلفة المنخفضة تجعلها مناسبة لتجنب العقبات، ورسم الخرائط ثلاثية الأبعاد، وتطبيقات تنقل الروبوتات.

مستشعر فوق صوتي

تُعد المستشعرات فوق الصوتية منخفضة التكلفة وسهلة الاستخدام، ويمكنها اكتشاف مجموعة واسعة من المواد، مما يجعلها مناسبة لتطبيقات مثل المساعدة في ركن السيارات واكتشاف الأجسام.

الخطوة 1: ضع البيانات فوق بعضها البعض

• الخطوة الأولى هي معايرة ومحاذاة جميع مشاهد المستشعرات، ثم دمج جميع بياناتك في عرض واحد. يوفّر هذا العرض الموحّد لمُصنِّف البيانات سياقًا أوسع، مما يتيح له تحديد ما تمثله مجموعات النقاط السحابية.

الخطوة 2: ضع تسميات على سحب النقاط ثلاثية الأبعاد

• ننصحك بوضع العلامات في البعد الثلاثي أولاً قبل الانتقال إلى البعد الثنائي لعدة أسباب، حتى وإن بدا ذلك غير بديهي. غالبًا ما يكون وضع العلامات في البعد الثلاثي أكثر كفاءة بشكل ملحوظ، حتى إذا كان هدفك الأساسي هو الحصول على علامات ثنائية الأبعاد.
• تخيل أنك تقود سيارتك متجاوزًا جسمًا ثابتًا مثل إشارة مرور. وبفضل وجود عدة كاميرات، تظل هذه الإشارة المرورية ظاهرة في ثلاث منها أثناء مرورك بجانبها، وذلك على مدى حوالي 100 إطار.
• سيستلزم وضع مربعات تحديد ثنائية الأبعاد (2D) على هذا السيناريو وضع علامات على 300 حالة إجمالاً. أما في الفضاء ثلاثي الأبعاد، فسيكفي وضع مكعب واحد فقط لتعليم هذه الإشارة المرورية الثابتة وغير المتحركة.
• بينما يستغرق تصنيف المكعب ثلاثي الأبعاد وقتًا أطول بثلاث مرات مقارنةً بوضع العلامات على صندوق ثنائي الأبعاد، إلا أنه لا يزال أكثر كفاءة بمئة مرة من التصنيف المباشر داخل الصور.

الخطوة 3: إسقاط إلى صور ثنائية الأبعاد

• بمجرد أن تقوم بوضع العلامات على سحب النقاط ثلاثية الأبعاد الخاصة بك، يمكنك معايرتها ومحاذاتها مع بيانات الصور ثنائية الأبعاد. سيقوم Segments.ai تلقائيًا بنسخ معرفات الكائنات إلى البيانات ثنائية الأبعاد، مما يوفر عليك ساعات من رسم مربعات التحديد. كل ما عليك هو إجراء تعديلات بسيطة أثناء فحص الجودة.

أصبح الانتقال من نهج الدمج المتأخر إلى نهج الدمج المبكر أكثر شيوعًا بين شركات المركبات ذاتية القيادة والروبوتات في نماذج التعلم الآلي (ML) الخاصة بها.

يتضمن الدمج المتأخر استخدام نماذج تعلم آلي منفصلة لكل مستشعر مستخدم، حيث ينتج كل منها مخرجات فردية. بعد ذلك، يتم دمج هذه المخرجات أو جمعها لإنشاء تمثيل ثلاثي الأبعاد متكامل للمشهد. يتطلب ذلك تشغيل عدة نماذج بشكل مستقل ثم جمع نتائجها لاحقًا.

يعتمد الدمج المبكر على نهج أكثر حداثة؛ فبدلاً من استخدام نماذج منفصلة لكل مستشعر، يتم إدخال بيانات جميع المستشعرات في نموذج تعلم آلي واحد. يهدف هذا النموذج الموحد إلى إجراء التنبؤات مباشرة ضمن الفضاء ثلاثي الأبعاد.

لكي يكون الدمج المبكر فعالًا، تُعد شبكات الفوكسل تمثيلًا مناسبًا للمشهد. حيث تتميز شبكات الفوكسل ببنية منتظمة، مما يجعلها ملائمة لهذا الأسلوب. ويمكن تصورها على أنها موترات، مما يتيح التنبؤ من البداية للنهاية. يمكن توقع العملية بالكامل، من الإدخال إلى الإخراج، باستخدام نموذج واحد فقط.