භෞතික AI යනු කැමරා, ආලෝක අනාවරණය හා පරාසය (LiDAR), සහ රේඩාර් වැනි සංවේදක භාවිතයෙන් සැබෑ ලෝක දත්ත එකතු කරයි. මෙය ස්වයංක්‍රීය පද්ධති සහ රොබෝවන් සඳහා යොදන ලද AI ආදර්ශයන්ට භෞතික අවකාශය තේරුම් ගැනීමට ඉඩ සලසයි, එමඟින් ඔවුන්ට සැබෑ ලෝක තත්ත්වයන් යටතේ කාර්යයන් ඉටු කළ හැක.

සෙන්සර් ෆියුෂන් යනු තොරතුරු වල නිරවද්‍යතාවය සහ විශ්වාසනීයතාවය වැඩිදියුණු කිරීම සඳහා බහු සෙන්සර්වලින් ලබාගත් දත්ත එකට එක් කිරීමේ ක්‍රියාවලියයි. විවිධ වර්ගයේ සෙන්සර් (උදාහරණයක් ලෙස LiDAR, රේඩාර් සහ කැමරා) වලින් ලබාගත් තොරතුරු එකට එක් කිරීමෙන් පද්ධතියකට පරිසරය පිළිබඳ සම්පූර්ණතම රූපයක් නිර්මාණය කළ හැකියි. සෙන්සර් ෆියුෂන් තාක්ෂණය නිසා තනි සෙන්සර් එකක ඇති දෝෂ හෝ අසාර්ථකතා වල බලපෑමද අඩු කළ හැකියි. මෙම තාක්ෂණය ස්වයංක්‍රීය වාහන (AV) සහ රොබෝටිකා ඇතුළු විවිධ යෙදුම්වල භාවිතා වේ.

සෙන්සර් සංයෝජනයේ අතිශය පොදු යෙදුම්වලින් එකක් වන්නේ 3D ලක්ෂ්‍ය වලාකුළක් නිර්මාණය කිරීමයි, එය භෞතික අවකාශයක විස්තරාත්මක ආදර්ශනයක් වන අතර එහි අන්තර්ගත වස්තු වල ස්ථානය සහ දිශානතිය පිළිබඳ තොරතුරුද ඇතුළත් වේ.

සෙන්සර් යනු ආලෝකය, උෂ්ණත්වය සහ ශබ්දය වැනි භෞතික උත්ප්‍රේරක අනාවරණය කර ඒවාට ප්‍රතිචාර දක්වන උපාංග වේ. විවිධ සෙන්සර් තම කාර්යයන් ඉටු කිරීමට විවිධ තාක්ෂණ භාවිතා කරයි. උදාහරණයක් ලෙස, LiDAR සහ රේඩාර් සෙන්සර් තම පරිසරය අනාවරණය කිරීමට ලේසර් සහ රේඩියෝ තරංග භාවිතා කරන අතර, අල්ට්‍රාසොනික් සෙන්සර් ශබ්ද තරංග භාවිතා කරයි.

LiDAR (Light Detection and Ranging)

High accuracy, long-range, and fast data acquisition. LiDAR is ideal for mapping and obstacle avoidance in AV and robots.

RADAR (Radio Detection and Ranging)

Radar sensors can detect objects through various weather conditions and at long distances, making them ideal for applications such as collision avoidance and autonomous driving.

SONAR (Sound Navigation and Ranging)

Sonar sensors emit sound waves and measure the time it takes for the waves to bounce back after hitting an object. In robotics and automotive they can be used to determine the distance to the object.

Structured light

Structured light sensors use a 3D scanner to measure the 3D dimensions of an object. High resolution and accuracy make them suitable for 3D scanning and mapping applications.

Time-of-Flight (ToF) sensor

ToF sensors are used for measuring distance with depth sensing technology. They are fast and reliable, so they are a good choice for gesture recognition, object tracking, and robot navigation applications.

Stereo vision sensor

Stereo vision sensors use two (or more) sensors to simulate human binocular vision. High precision depth sensing, good spatial resolution, and low cost make these suitable for obstacle avoidance, 3D mapping, and robot navigation applications.

Ultrasonic sensor

Ultrasonic sensors are low-cost, easy to use, and can detect a wide range of materials, making them suitable for applications such as parking assistance and object detection.

Step 1: Overlay the data

• The first step is to calibrate and align all the sensor views, then overlay all of your data into a single view. This fused view gives your labeler more context, allowing it to tell what groups of point clouds represent.

Step 2: Label the 3D point clouds

• We advise that you label in 3D before projecting to 2D for a few reasons, even though it may seem counterintuitive. Labeling in 3D first often proves to be significantly more efficient, even if your primary interest is in obtaining 2D labels.
• Imagine you are driving past a stationary object like a traffic sign. Equipped with multiple cameras, this traffic sign remains visible in three of them as you pass by, spanning approximately 100 frames.
• Annotating this scenario using 2D bounding boxes would require you to label a total of 300 instances. However, in the 3D space, annotating this static, non-moving traffic sign would involve a single cuboid annotation.
• While labeling a 3D cuboid does take three times as long as annotating a 2D bounding box, it is still 100 times more efficient than labeling directly in the images.

Step 3: Project to 2D images

• Once you’ve labeled your 3D point clouds, you can calibrate and align them to your 2D image data. Segments.ai will automatically copy over object IDs to the 2D data, saving you hours of drawing bounding boxes. You only need to make minor adjustments during your quality control check.

ස්වයංක්‍රීය වාහන සහ රොබෝ තාක්ෂණ සමාගම් තම යන්ත්‍ර ඉගෙනුම් (ML) ආකෘතිවලදී ප්‍රමාද ඒකාබද්ධ කිරීමේ ප්‍රවේශයකින් ආරම්භක ඒකාබද්ධ කිරීම ප්‍රවේශයක් වෙත මාරුවීම වැඩි වශයෙන් දක්නට ලැබේ.

බද්ධ කිරීමේ ක්‍රමවේදය තුළ භාවිතා කරන සෑම සංවේදකයක් සඳහාම වෙන් වෙන් වූ ML ආකෘති යොදාගනු ලබන අතර, ඒවා මඟින් ස්වාධීන ප්‍රතිදාන ජනනය කරනු ලබයි. පසුව මෙම ප්‍රතිදාන එකට එක් කර හෝ ඒකාබද්ධ කර, දර්ශනයේ සමගාමී ත්‍රිමාණ (3D) නිරූපණයක් නිර්මාණය කරනු ලැබේ. මෙහිදී බහු ආකෘති ස්වාධීනව ක්‍රියාත්මක කර, පසුව ඒවායේ ප්‍රතිඵල එකට ඒකාබද්ධ කරනු ලැබේ.

ආරම්භක ඒකාබද්ධ කිරීමේ (Early Fusion) ක්‍රමවේදය වඩාත් නවීන ප්‍රවේශයක් අනුගමනය කරයි. එක් සංවේදකය සඳහා වෙන වෙනම ආකෘති භාවිතා කිරීම වෙනුවට, සියලුම සංවේදක දත්ත එක් තනි (ML) ආකෘතියකට ඇතුළත් කරනු ලැබේ. මෙම ඒකාබද්ධ ආකෘතිය නිර්මාණය කර ඇත්තේ (3D) අවකාශය තුළ සෘජුවම අනාවැකි සිදු කිරීම සඳහාය.

ආරම්භක ඒකාබද්ධ කිරීමේ ක්‍රමවේදය ඵලදායී වීමට නම්, දර්ශනය නිරූපණය කිරීම සඳහා වොක්සල් ග්‍රිඩ් ප්‍රයෝජනවත් සහ වාසිදායක නිරූපණ ක්‍රමයක් ලෙස සැලකේ. වොක්සල් ග්‍රිඩ් නිත්‍ය ව්‍යුහයක් පෙන්නුම් කරන බැවින්, මෙම ප්‍රවේශය සඳහා ඒවා ඉතා සුදුසු නිරූපණ ක්‍රමයක් වේ. ඒවා ටෙන්සර් ලෙස සංකල්පගත කළ හැකි අතර, එමඟින් ආරම්භයේ සිට අවසානය දක්වා අනාවැකි සිදු කිරීමට හැකියාව ලැබේ. ආදානයේ සිට ප්‍රතිදානය දක්වා සම්පූර්ණ ක්‍රියාවලිය එක් තනි ආකෘතියක් භාවිතයෙන් අනාවැකි කළ හැකිය.