फिजिकल एआय सेन्सर्स वापरून प्रत्यक्ष जगातील डेटा गोळा करते, जसे की कॅमेरा, लाइट डिटेक्शन अँड रेंजिंग (LiDAR) आणि रडार, जेणेकरून स्वयंचलित प्रणाली आणि रोबोट्ससाठी तैनात केलेले एआय मॉडेल्सना भौतिक जागा समजून घेता येईल आणि ते प्रत्यक्ष जगातील परिस्थितींमध्ये कार्य करू शकतील.

सेन्सर फ्यूजन ही अनेक सेन्सरमधील डेटा एकत्र करून माहितीची अचूकता आणि विश्वासार्हता वाढवण्याची प्रक्रिया आहे. वेगवेगळ्या प्रकारच्या सेन्सरमधून (जसे की LiDAR, रडार आणि कॅमेरे) मिळणारी माहिती एकत्र करून, एखादी प्रणाली पर्यावरणाचे अधिक संपूर्ण चित्र तयार करू शकते. सेन्सर फ्यूजनमुळे कोणत्याही एकाच सेन्सरमधील त्रुटी किंवा अपयशाचा परिणामही कमी करता येतो. ही तंत्रज्ञान विविध क्षेत्रांमध्ये वापरली जाते, ज्यामध्ये स्वयंचलित वाहने (AV) आणि रोबोटिक्स यांचा समावेश आहे.

सेन्सर फ्युजनचा सर्वात सामान्य वापर म्हणजे रोबोटॅक्सीवर बसवलेल्या विविध सेन्सरचे एकत्रीकरण, ज्यामध्ये LiDAR कडून मिळणारे 3D पॉइंट क्लाउड्स आणि समोर, बाजू व मागील कॅमेर्‍यांमधून मिळणाऱ्या 2D प्रतिमा यांचा समावेश होतो.

सेन्सर्स ही अशी उपकरणे आहेत जी प्रकाश, उष्णता आणि आवाज यांसारख्या भौतिक उत्तेजनांना ओळखतात आणि त्यावर प्रतिसाद देतात. वेगवेगळ्या सेन्सर्सना त्यांच्या कार्यांसाठी वेगवेगळ्या तंत्रज्ञानाचा वापर केला जातो. उदाहरणार्थ, LiDAR आणि रडार सेन्सर्स त्यांच्या आजूबाजूच्या वातावरणाचा अंदाज घेण्यासाठी लेझर आणि रेडिओ लहरींचा वापर करतात, तर अल्ट्रासोनिक सेन्सर्स ध्वनीलहरींचा वापर करतात.

LiDAR (लाइट डिटेक्शन आणि रेंजिंग)

जास्त अचूकता, लांब अंतर आणि लगेच डेटा मिळवणे. LiDAR AV आणि रोबोट्स यांच्यामध्ये मॅपिंग करण्यासाठी व अडथळे टाळण्यासाठी योग्य पर्याय आहे.

RADAR (रेडिओ डिटेक्शन आणि रेंजिंग)

रडार सेन्सर विविध हवामान परिस्थितींमध्ये आणि लांब अंतरावर वस्तू ओळखू शकतात, त्यामुळे ते अपघात टाळणे आणि ऑटोनॉमस गाडी चालविणे यांसारख्या वापरांसाठी योग्य ठरतात.

SONAR (साऊंड नेव्हिगेशन आणि रेंजिंग)

सोनार सेन्सर्स साऊंड व्हेज तयार करून सोडतात आणि एखाद्या वस्तूवर बाऊन्स झाल्यानंतर परत येणा-या व्हेंजना लागणारा वेळ मोजतात. रोबोटिक्स आणि ऑटोमोटिव्हमध्ये वस्तूपर्यंतचे अंतर मोजण्यासाठी त्या वापरल्या जाऊ शकतात.

स्ट्रक्चर्ड लाइट

स्ट्रक्चर्ड लाइट सेन्सर्स 3D स्कॅनरचा वापर करून एखाद्या वस्तूचे 3D माप घेतात. जास्त रिझोल्यूशन आणि अचूकता यामुळे ते 3D स्कॅनिंग आणि मॅपिंग करण्यासाठी उपयोगी ठरतात.

टाइम-ऑफ-फ्लाइट (ToF) सेन्सर

ToF सेन्सर्स अंतर मोजण्यासाठी डेप्थ सेन्सिंग टेक्नलॉजीचा वापर करतात. ते फास्ट आणि विश्वास ठेवण्यासारखे असल्यामुळे, ते हावभाव ओळखणे, ऑब्जेक्ट ट्रॅकिंग आणि रोबोट नेव्हिगेशन अ‍ॅप्लिकेशन यांच्यासाठी योग्य निवड आहे.

स्टिरिओ व्हिजन सेन्सर

स्टिरिओ व्हिजन सेन्सर्स दोन (किंवा अधिक) सेन्सर्स वापरून माणसांच्या दोन्ही डोळ्यांप्रमाणे पाहण्याचे काम करते. अत्यंत अचूक डेन्थ सेन्सिंग, छोटी माहिती योग्यप्रकारे ओळखण्याची क्षमता आणि कमी खर्च यामुळे ते अडथळा टाळणे, 3D मॅपिंग करणे आणि रोबोट नेव्हिगेशन अ‍ॅप्लिकेशन यांच्यासाठी उपयोगी ठरते.

अल्ट्रासोनिक सेन्सर

अल्ट्रासोनिक सेन्सर्स कमी खर्चाचे, वापरण्यास सोपे आहेत आणि विविध प्रकारच्या वस्तू ओळखू शकतात, त्यांना पार्किंगमध्ये मदत करणे आणि वस्तू ओळखणे यांसारख्या अ‍ॅप्लिकेशन्ससाठी योग्य बनवणे.

स्टेप 1: डेटा ओव्हरले करा

• पहिली स्टेप म्हणजे सर्व सेन्सर व्ह्यूज कॅलिब्रेट आणि एका रेषेत करणे, त्यानंतर तुमचा सर्व डेटा सिंगल व्ह्यूमध्ये ओव्हरले करणे. हा एकत्रित व्ह्यू तुमच्या लेबलरला अधिक माहिती देते, यामुळे तो पॉइंट क्लाउडचा ग्रुप काय दाखवतो हे ओळखता येते.

स्टेप 2: 3D पॉइंट क्लाउड्सला लेबल करा

• जरी हे अपेक्षेप्रमाणे वाटत नसले, तरी आम्ही सुचवतो की काही कारणांसाठी तुम्ही 2D मध्ये प्रोजेक्ट करण्यापूर्वी 3D मध्ये लेबलिंग करा. जरी तुमच्यासाठी 2D लेबल्स मिळवणे सर्वात महत्वाचे असले, तरी आधी 3D मध्ये लेबलिंग करणे अनेकदा खूपच प्रभावी ठरते.
• कल्पना करा की तुम्ही ट्रॅफिक साईनसारख्या स्थिर वस्तूजवळून गाडी चालवत आहात. अनेक कॅमेरे असलेला, हा ट्रॅफिक साईन तुम्ही पुढे जाताना सुमारे 100 फ्रेम्सपर्यंत दिसतो, त्यापैकी तीनमध्ये तो स्पष्टपणे दिसतो.
• या परिस्थितीचे 2D बाउंडिंग बॉक्सेस वापरून लेबल वापरताना तुम्हाला एकूण 300 घटकांना लेबल द्यावे लागतील. मात्र, 3D स्पेसमध्ये, या स्थिर, हालचाल नसलेले ट्रॅफिक साईनला लेबल लावताना फक्त एकच क्यूबॉइड लेबल लावावे लागेल.
• 3डी क्यूबॉइडला लेबल करताना 2डी बाउंडिंग बॉक्स लेबलपेक्षा तीनपट जास्त वेळ लागतो, तरीही प्रत्यक्ष इमेजमध्ये लेबलिंग करण्यापेक्षा हे तरीही 100 पटीपेक्षा अधिक प्रभावी ठरते.

स्टेप 3: 2डी इमेजेसमध्ये प्रोजेक्ट करा

• एकदा तुम्ही तुमचे 3D पॉइंट क्लाउड्स लेबल केले की, तुम्ही ते तुमच्या 2D इमेज डेटाशी कॅलिब्रेट आणि अलाइन करू शकता. Segments.ai ऑटोमॅटिकली ऑब्जेक्ट IDs 2D डेटामध्ये कॉपी करेल, ज्यामुळे तुम्हाला बाउंडिंग बॉक्सेस काढताना लागणारा वेळ वाचेल. क्वालिटी कंट्रोल तपासणीदरम्यान तुम्हाला केवळ छोट्या अ‍ॅडजेस्टमेंंट कराव्या लागतील.

AV आणि रोबोटिक्स कंपन्यांमध्ये त्यांच्या मशीन लर्निंग (ML) मॉडेल्समध्ये लेट फ्यूजन पद्धतीकडून अर्ली फ्यूजन पद्धतीकडे संक्रमण अधिकाधिक प्रमाणात होत आहे.

लेट फ्यूजनमध्ये प्रत्येक वापरलेल्या सेन्सरसाठी स्वतंत्र ML मॉडेल्सचा वापर केला जातो, जे स्वतंत्र आउटपुट तयार करतात. हे आउटपुट्स नंतर एकत्रित किंवा फ्यूज करून सीनचे एक सुसंगत 3D प्रतिकृती तयार केली जाते. यात अनेक मॉडेल्स स्वतंत्रपणे चालवून त्यांचे परिणाम नंतर एकत्र केले जातात.

अर्ली फ्यूजन एक अधिक आधुनिक दृष्टिकोन स्वीकारतो. प्रत्येक सेन्सरसाठी वेगवेगळे मॉडेल वापरण्याऐवजी, सर्व सेन्सर डेटा एका एकत्रित ML मॉडेलमध्ये दिला जातो. हे एकत्रित मॉडेल थेट 3D स्पेसमध्ये अंदाज वर्तवण्यासाठी डिझाइन केलेले आहे.

लवकर फ्यूजन प्रभावी होण्यासाठी, व्हॉक्सेल ग्रिड्स दृश्याचे एक फायदेशीर प्रतिनिधित्व ठरतात. व्हॉक्सेल ग्रिड्समध्ये नियमित रचना असते, त्यामुळे हा दृष्टिकोन वापरण्यासाठी त्या योग्य ठरतात. त्यांना टेन्सर्सप्रमाणे विचार करता येते, ज्यामुळे एंड-टू-एंड भाकीत करणे शक्य होते. इनपुटपासून आउटपुटपर्यंत संपूर्ण प्रक्रिया एका एकाच मॉडेलद्वारे भाकीत करता येते.