फिजिकल एआई सेंसरों जैसे कैमरा, लाइट डिटेक्शन एंड रेंजिंग (LiDAR) और रडार का उपयोग करके वास्तविक दुनिया का डेटा एकत्र करता है, ताकि स्वायत्त सिस्टम और रोबोट के लिए तैनात एआई मॉडल भौतिक स्थान को समझ सकें और वे वास्तविक परिस्थितियों में कार्य कर सकें।

सेंसर फ्यूजन वह प्रक्रिया है जिसमें कई सेंसरों से प्राप्त डेटा को मिलाकर जानकारी की सटीकता और विश्वसनीयता बढ़ाई जाती है। अलग-अलग प्रकार के सेंसरों (जैसे LiDAR, रडार और कैमरे) से मिली जानकारी को मिलाकर कोई सिस्टम अपने आसपास के वातावरण की अधिक संपूर्ण तस्वीर बना सकता है। सेंसर फ्यूजन किसी एक सेंसर में हुई गलती या खराबी के असर को भी कम कर सकता है। यह तकनीक कई क्षेत्रों में उपयोग होती है, जिनमें स्वायत्त वाहन (AV) और रोबोटिक्स शामिल हैं।

सेंसर फ्यूजन का सबसे आम उपयोगों में से एक है, एक रोबोटैक्सी पर लगे विभिन्न सेंसरों का संयोजन करना, जिसमें LiDARs से प्राप्त 3D पॉइंट क्लाउड्स और आगे, साइड और पीछे के कैमरों से ली गई 2D इमेजेज़ शामिल हैं।

सेंसर वे उपकरण होते हैं जो प्रकाश, तापमान और ध्वनि जैसे भौतिक उद्दीपनों का पता लगाते हैं और उन पर प्रतिक्रिया करते हैं। अलग-अलग सेंसर अपने कार्यों को पूरा करने के लिए अलग-अलग तकनीकों का उपयोग करते हैं। उदाहरण के लिए, LiDAR और रडार सेंसर अपने परिवेश का पता लगाने के लिए लेज़र और रेडियो तरंगों का उपयोग करते हैं, जबकि अल्ट्रासोनिक सेंसर ध्वनि तरंगों का उपयोग करते हैं।

LiDAR (लाइट डिटेक्शन और रेंजिंग)

उच्च सटीकता, लंबी दूरी और तेज़ डेटा संग्रहण। LiDAR, AV और रोबोट में मैपिंग और बाधा से बचाव के लिए आदर्श है।

राडार (रेडियो डिटेक्शन और रेंजिंग)

रडार सेंसर विभिन्न मौसम स्थितियों में और लंबी दूरी पर वस्तुओं का पता लगा सकते हैं, जिससे वे टक्कर से बचाव और स्वचालित ड्राइविंग जैसी उपयोगिताओं के लिए उपयुक्त बन जाते हैं।

सोनार (ध्वनि नेविगेशन और रेंजिंग)

सोनार सेंसर ध्वनि तरंगें छोड़ते हैं और यह मापते हैं कि किसी वस्तु से टकराकर तरंगों के वापस लौटने में कितना समय लगता है। रोबोटिक्स और ऑटोमोटिव में इनका उपयोग वस्तु तक की दूरी जानने के लिए किया जा सकता है।

संरचित प्रकाश

स्ट्रक्चर्ड लाइट सेंसर 3D स्कैनर का उपयोग करके किसी वस्तु के 3D आयाम मापते हैं। उच्च रेज़ोल्यूशन और सटीकता इन्हें 3D स्कैनिंग और मैपिंग अनुप्रयोगों के लिए उपयुक्त बनाती है।

टाइम-ऑफ-फ्लाइट (ToF) सेंसर

ToF सेंसर दूरी मापने के लिए डेप्थ सेंसिंग तकनीक का उपयोग करते हैं। ये तेज़ और भरोसेमंद होते हैं, इसलिए ये इशारों की पहचान, वस्तु ट्रैकिंग और रोबोट नेविगेशन जैसे अनुप्रयोगों के लिए एक अच्छा विकल्प हैं।

स्टीरियो विज़न सेंसर

स्टीरियो विज़न सेंसर दो (या अधिक) सेंसर का उपयोग करके मानव द्विनेत्री दृष्टि का अनुकरण करते हैं। उच्च सटीकता वाली गहराई की पहचान, अच्छी स्थानिक रेज़ोल्यूशन और कम लागत इन्हें बाधा से बचाव, 3D मैपिंग और रोबोट नेविगेशन जैसे अनुप्रयोगों के लिए उपयुक्त बनाती है।

अल्ट्रासोनिक सेंसर

अल्ट्रासोनिक सेंसर कम लागत वाले, उपयोग में आसान हैं और विभिन्न प्रकार की सामग्रियों का पता लगा सकते हैं, जिससे ये पार्किंग सहायता और वस्तु पहचान जैसी उपयोगिताओं के लिए उपयुक्त बनते हैं।

चरण 1: डेटा को ओवरले करें

• पहला कदम है सभी सेंसर व्यू को कैलिब्रेट और अलाइन करना, फिर आपके सभी डेटा को एक ही व्यू में ओवरले करना। यह फ्यूज्ड व्यू आपके लेबलर को ज़्यादा संदर्भ देता है, जिससे वह यह बता सकता है कि कौन से पॉइंट क्लाउड्स किस समूह का प्रतिनिधित्व करते हैं।

चरण 2: 3D पॉइंट क्लाउड्स को लेबल करें

• हम सलाह देते हैं कि आप कुछ कारणों से 2D पर प्रोजेक्ट करने से पहले 3D में लेबलिंग करें, भले ही यह पहली नज़र में उल्टा लगे। पहले 3D में लेबलिंग करना अक्सर काफी अधिक प्रभावी साबित होता है, भले ही आपकी मुख्य रुचि 2D लेबल प्राप्त करने में हो।
• कल्पना करें कि आप किसी स्थिर वस्तु, जैसे ट्रैफिक साइन, के पास से गाड़ी चला रहे हैं। कई कैमरों से लैस यह ट्रैफिक साइन आपके गुजरने पर लगभग 100 फ्रेम्स तक तीन कैमरों में दिखाई देता है।
• इस परिदृश्य को 2D बाउंडिंग बॉक्स का उपयोग करके एनोटेट करने के लिए आपको कुल 300 उदाहरणों को लेबल करना होगा। हालांकि, 3D स्पेस में, इस स्थिर, न चलने वाले ट्रैफिक साइन को एनोटेट करने के लिए केवल एक क्यूबॉइड एनोटेशन करना होगा।
• हालाँकि एक 3D क्यूबॉइड को लेबल करने में 2D बाउंडिंग बॉक्स की तुलना में तीन गुना अधिक समय लगता है, फिर भी यह छवियों में सीधे लेबलिंग करने की तुलना में 100 गुना अधिक प्रभावी है।

चरण 3: 2D इमेज में प्रोजेक्ट करें

• एक बार जब आप अपने 3D पॉइंट क्लाउड्स को लेबल कर लेते हैं, तो आप उन्हें अपने 2D इमेज डेटा के साथ कैलिब्रेट और अलाइन कर सकते हैं। Segments.ai ऑब्जेक्ट ID को अपने आप 2D डेटा में कॉपी कर देगा, जिससे आपको बाउंडिंग बॉक्स बनाने में घंटों की मेहनत बचेगी। क्वालिटी कंट्रोल चेक के दौरान आपको केवल छोटे-मोटे बदलाव करने होंगे।

AV और रोबोटिक्स कंपनियों में अपने मशीन लर्निंग (ML) मॉडल्स के लिए लेट फ्यूज़न अप्रोच से अर्ली फ्यूज़न अप्रोच की ओर बदलाव तेजी से आम होता जा रहा है।

लेट फ्यूज़न में हर इस्तेमाल किए गए सेंसर के लिए अलग-अलग एमएल मॉडल का उपयोग किया जाता है, जिससे अलग-अलग आउटपुट मिलते हैं। इन आउटपुट को बाद में मिलाकर या फ्यूज़ करके सीन का एक स्पष्ट 3D प्रतिनिधित्व तैयार किया जाता है। इसमें कई मॉडल स्वतंत्र रूप से चलाए जाते हैं और उनके परिणामों को बाद में जोड़ा जाता है।

अर्ली फ्यूज़न एक अधिक आधुनिक तरीका अपनाता है। हर सेंसर के लिए अलग-अलग मॉडल इस्तेमाल करने के बजाय, सभी सेंसर डेटा को एक ही एमएल मॉडल में डाला जाता है। यह एकीकृत मॉडल सीधे 3डी स्पेस में पूर्वानुमान लगाने के लिए डिज़ाइन किया गया है।

प्रारंभिक फ्यूज़न को प्रभावी बनाने के लिए, वॉक्सल ग्रिड्स दृश्य का एक लाभकारी प्रतिनिधित्व साबित होते हैं। वॉक्सल ग्रिड्स में एक नियमित संरचना होती है, जिससे वे इस दृष्टिकोण के लिए उपयुक्त बन जाते हैं। इन्हें टेन्सर के रूप में कल्पना किया जा सकता है, जिससे एंड-टू-एंड प्रेडिक्शन संभव होता है। पूरे प्रोसेस, इनपुट से आउटपुट तक, को एक ही मॉडल के ज़रिए प्रेडिक्ट किया जा सकता है।