ফিজিক্যাল এআই সেন্সর ব্যবহার করে বাস্তব বিশ্বের ডেটা সংগ্রহ করে, যেমন ক্যামেরা, লাইট ডিটেকশন অ্যান্ড রেঞ্জিং (LiDAR), এবং রাডার, যাতে স্বয়ংক্রিয় সিস্টেম ও রোবটের জন্য ব্যবহৃত এআই মডেলগুলো শারীরিক স্থান বুঝতে পারে এবং তারা বাস্তব পরিবেশে কাজ করতে সক্ষম হয়।

সেন্সর ফিউশন হল একাধিক সেন্সর থেকে প্রাপ্ত ডেটা একত্রিত করার একটি প্রক্রিয়া, যার মাধ্যমে তথ্যের নির্ভুলতা ও নির্ভরযোগ্যতা বৃদ্ধি পায়। বিভিন্ন ধরনের সেন্সর (যেমন LiDAR, রাডার এবং ক্যামেরা) থেকে প্রাপ্ত তথ্য একত্রিত করে, একটি সিস্টেম পরিবেশের আরও সম্পূর্ণ চিত্র তৈরি করতে পারে। সেন্সর ফিউশন কোনো নির্দিষ্ট সেন্সরের ত্রুটি বা ব্যর্থতার প্রভাবও কমাতে পারে। এই প্রযুক্তি বিভিন্ন ক্ষেত্রে ব্যবহৃত হয়, যার মধ্যে স্বয়ংক্রিয় যানবাহন (AV) এবং রোবোটিক্স অন্তর্ভুক্ত।

সেন্সর ফিউশনের সবচেয়ে সাধারণ ব্যবহারগুলোর একটি হলো রোবোট্যাক্সিতে সংযুক্ত বিভিন্ন সেন্সরের সমন্বয়, যার মধ্যে রয়েছে LiDAR থেকে প্রাপ্ত ৩ডি পয়েন্ট ক্লাউড এবং সামনের, পাশের ও পেছনের ক্যামেরা থেকে প্রাপ্ত ২ডি ছবি।

সেন্সর হলো এমন ধরনের ডিভাইস যা আলো, তাপ ও ​​শব্দের মতো ভৌত উদ্দীপনা শনাক্ত করে এবং সেগুলির প্রতি সাড়া দেয়। বিভিন্ন সেন্সর তাদের কাজ সম্পাদনের জন্য ভিন্ন প্রযুক্তি ব্যবহার করে। LiDAR ও রাডার সেন্সর তাদের চারপাশের পরিবেশ শনাক্ত করতে লেজার ও রেডিও তরঙ্গ ব্যবহার করে, অন্যদিকে আল্ট্রাসোনিক সেন্সর শব্দতরঙ্গ ব্যবহার করে।

LiDAR (লাইট ডিটেকশন অ্যান্ড রেঞ্জিং)

উচ্চ নির্ভুলতা, দীর্ঘ পরিসর এবং দ্রুত ডেটা সংগ্রহ। LiDAR স্বয়ংক্রিয় যানবাহন ও রোবটে মানচিত্র তৈরি এবং বাধা এড়ানোর জন্য আদর্শ।

রাডার (রেডিও ডিটেকশন অ্যান্ড রেঞ্জিং)

রাডার সেন্সর বিভিন্ন আবহাওয়া পরিস্থিতিতে এবং দীর্ঘ দূরত্বে বস্তু শনাক্ত করতে পারে, যা সংঘর্ষ এড়ানো এবং স্বয়ংক্রিয় ড্রাইভিংয়ের মতো ব্যবহারের জন্য এগুলোকে আদর্শ করে তোলে।

সোনার (সাউন্ড ন্যাভিগেশন অ্যান্ড রেঞ্জিং)

সোনার সেন্সরগুলো শব্দ তরঙ্গ নির্গত করে এবং সেই তরঙ্গ কোনো বস্তুর সাথে সংঘর্ষের পর ফিরে আসতে যত সময় লাগে তা পরিমাপ করে। রোবোটিক্স ও অটোমোটিভ ক্ষেত্রে এগুলো বস্তুর সাথে দূরত্ব নির্ধারণে ব্যবহার করা যেতে পারে।

স্ট্রাকচার্ড লাইট

স্ট্রাকচার্ড লাইট সেন্সর একটি 3D স্ক্যানার ব্যবহার করে কোনো বস্তুর 3D মাত্রা পরিমাপ করে। উচ্চ রেজোলিউশন ও নির্ভুলতা তাদের 3D স্ক্যানিং ও ম্যাপিং অ্যাপ্লিকেশনের জন্য উপযুক্ত করে তোলে।

টাইম-অফ-ফ্লাইট (ToF) সেন্সর

ToF সেন্সরগুলি দূরত্ব পরিমাপের জন্য ডেপথ সেন্সিং প্রযুক্তি ব্যবহার করে। এগুলো দ্রুত এবং নির্ভরযোগ্য, তাই এগুলো অঙ্গভঙ্গি শনাক্তকরণ, বস্তু অনুসরণ এবং রোবট নেভিগেশনের মতো অ্যাপ্লিকেশনের জন্য ভালো পছন্দ।

স্টেরিও ভিশন সেন্সর

স্টেরিও ভিশন সেন্সর দুটি (বা তার বেশি) সেন্সর ব্যবহার করে মানুষের দ্বৈত চক্ষু দৃষ্টিকে অনুকরণ করে। উচ্চ নির্ভুলতার গভীরতা পরিমাপ, ভালো স্থানিক রেজোলিউশন এবং কম খরচ এগুলোকে বাধা এড়ানো, 3D ম্যাপিং এবং রোবট নেভিগেশন অ্যাপ্লিকেশনের জন্য উপযুক্ত করে তোলে।

আল্ট্রাসনিক সেন্সর

আল্ট্রাসনিক সেন্সরগুলো কম খরচে, ব্যবহার করা সহজ এবং বিভিন্ন ধরনের উপাদান শনাক্ত করতে সক্ষম, যা এগুলোকে পার্কিং সহায়তা ও বস্তু শনাক্তকরণের মতো কাজে উপযোগী করে তোলে।

ধাপ ১: ডেটা ওভারলে করুন

• প্রথম ধাপ হলো সব সেন্সরের ভিউ ক্যালিব্রেট ও অ্যালাইন করা, তারপর আপনার সব ডেটা একক ভিউতে ওভারলে করা। এই ফিউজড ভিউ আপনার লেবেলারকে আরও প্রসঙ্গ দেয়, যার ফলে এটি নির্ধারণ করতে পারে কোন কোন পয়েন্ট ক্লাউডের গ্রুপ কী উপস্থাপন করছে।

ধাপ ২: ৩ডি পয়েন্ট ক্লাউডগুলো লেবেল করুন

• আমরা আপনাকে পরামর্শ দিই যে, কিছু কারণের জন্য ২ডিতে প্রজেক্ট করার আগে ৩ডিতে লেবেল করুন, যদিও এটি প্রথমে স্বাভাবিক মনে নাও হতে পারে। প্রথমে ৩ডিতে লেবেলিং করা অনেক ক্ষেত্রেই উল্লেখযোগ্যভাবে বেশি কার্যকর প্রমাণিত হয়, এমনকি যদি আপনার মূল আগ্রহ ২ডি লেবেল পাওয়াতেই হয়।
• ধরুন আপনি একটি স্থির বস্তু, যেমন একটি ট্রাফিক সাইন, পাশ কাটিয়ে গাড়ি চালাচ্ছেন। একাধিক ক্যামেরা দিয়ে সজ্জিত, এই ট্রাফিক সাইনটি আপনি পাশ কাটানোর সময় তিনটি ক্যামেরায় দৃশ্যমান থাকে, যা প্রায় ১০০ ফ্রেম জুড়ে বিস্তৃত।
• এই পরিস্থিতিতে 2D বাউন্ডিং বক্স ব্যবহার করে অ্যানোটেশন করতে হলে আপনাকে মোট ৩০০টি ইনস্ট্যান্স লেবেল করতে হবে। তবে, 3D স্পেসে এই স্থির, অচল ট্রাফিক সাইন অ্যানোটেট করতে হলে মাত্র একটি কিউবয়েড অ্যানোটেশন করতে হবে।
• যদিও একটি ৩ডি কিউবয়েড লেবেল করতে ২ডি বাউন্ডিং বক্স অ্যানোটেট করার চেয়ে তিন গুণ বেশি সময় লাগে, তবুও এটি সরাসরি ছবিতে লেবেল করার চেয়ে ১০০ গুণ বেশি কার্যকর।

ধাপ ৩: ২ডি ছবিতে প্রকল্প করুন

• আপনি যখন আপনার 3D পয়েন্ট ক্লাউডগুলো লেবেল করবেন, তখন আপনি সেগুলো আপনার 2D ইমেজ ডেটার সাথে ক্যালিব্রেট ও অ্যালাইন করতে পারবেন। Segments.ai স্বয়ংক্রিয়ভাবে অবজেক্ট আইডিগুলো 2D ডেটায় কপি করে দেবে, ফলে আপনাকে ঘণ্টার পর ঘণ্টা বাউন্ডিং বক্স আঁকার ঝামেলা থেকে মুক্তি দেবে। আপনার কেবলমাত্র কোয়ালিটি কন্ট্রোল চেকের সময় সামান্য কিছু সংশোধন করতে হবে।

এভি এবং রোবোটিক্স কোম্পানিগুলোর মেশিন লার্নিং (এমএল) মডেলগুলোতে লেট ফিউশন পদ্ধতি থেকে আর্লি ফিউশন পদ্ধতিতে পরিবর্তন ক্রমশ বেশি প্রচলিত হয়ে উঠছে।

লেট ফিউশন প্রতিটি ব্যবহৃত সেন্সরের জন্য পৃথক এমএল মডেল ব্যবহারের মাধ্যমে সম্পন্ন হয়, যা স্বতন্ত্র আউটপুট তৈরি করে। এরপর এই আউটপুটগুলো একত্রিত বা ফিউস করে দৃশ্যের একটি সামঞ্জস্যপূর্ণ ৩ডি উপস্থাপন তৈরি করা হয়। এতে একাধিক মডেল স্বাধীনভাবে চালানো হয় এবং পরে তাদের ফলাফল একত্রিত করা হয়।

আর্লি ফিউশন একটি আরও আধুনিক পদ্ধতি গ্রহণ করে। প্রতিটি সেন্সরের জন্য আলাদা মডেল ব্যবহারের পরিবর্তে, সব সেন্সর ডেটা একটি একক এমএল মডেলে প্রদান করা হয়। এই একীভূত মডেলটি ৩ডি স্পেসের মধ্যে সরাসরি পূর্বাভাস দেওয়ার জন্য ডিজাইন করা হয়েছে।

প্রাথমিক ফিউশন কার্যকর হতে হলে, ভক্সেল গ্রিড দৃশ্যের জন্য একটি সুবিধাজনক উপস্থাপন হিসেবে প্রমাণিত হয়। ভক্সেল গ্রিডের নিয়মিত গঠন রয়েছে, যা এই পদ্ধতির জন্য উপযুক্ত করে তোলে। এগুলোকে টেনসর হিসেবে কল্পনা করা যায়, যার ফলে শুরু থেকে শেষ পর্যন্ত পূর্বাভাস দেওয়া সম্ভব হয়। পুরো প্রক্রিয়াটি, ইনপুট থেকে আউটপুট পর্যন্ত, একটি মাত্র মডেল ব্যবহার করে পূর্বাভাস দেওয়া যায়।