ಫಿಸಿಕಲ್ ಎಐ ಸೆನ್ಸರ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ಉದಾಹರಣೆಗೆ ಕ್ಯಾಮೆರಾ, ಲೈಟ್ ಡಿಟೆಕ್ಷನ್ ಅಂಡ್ ರೇಂಜಿಂಗ್ (LiDAR), ಮತ್ತು ರಾಡಾರ್ ಮುಂತಾದವುಗಳಿಂದ ನೈಜ ಜಗತ್ತಿನ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ, ಇದರಿಂದ ಸ್ವಯಂಚಾಲಿತ ವ್ಯವಸ್ಥೆಗಳು ಮತ್ತು ರೋಬೋಟ್ಗಳಿಗೆ ನಿಯೋಜಿಸಲಾದ ಎಐ ಮಾದರಿಗಳು ಭೌತಿಕ ಸ್ಥಳವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ ಮತ್ತು ಅವುಗಳು ನೈಜ ಜಗತ್ತಿನ ಪರಿಸ್ಥಿತಿಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು.

ಸೆನ್ಸರ್ ಫ್ಯೂಷನ್ ಎಂದರೆ ಅನೇಕ ಸೆನ್ಸರ್‌ಗಳಿಂದ ಬಂದ ಡೇಟಾವನ್ನು ಸಂಯೋಜಿಸುವ ಪ್ರಕ್ರಿಯೆ, ಇದರಿಂದ ಮಾಹಿತಿಯ ನಿಖರತೆ ಮತ್ತು ನಂಬಿಕೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು. ವಿಭಿನ್ನ ರೀತಿಯ ಸೆನ್ಸರ್‌ಗಳ (ಉದಾಹರಣೆಗೆ LiDAR, ರಾಡಾರ್ ಮತ್ತು ಕ್ಯಾಮೆರಾಗಳು) ಮಾಹಿತಿಯನ್ನು ಸಂಯೋಜಿಸುವ ಮೂಲಕ, ಒಂದು ವ್ಯವಸ್ಥೆ ಪರಿಸರದ ಬಗ್ಗೆ ಹೆಚ್ಚು ಸಂಪೂರ್ಣವಾದ ಚಿತ್ರವನ್ನು ರೂಪಿಸಬಹುದು. ಸೆನ್ಸರ್ ಫ್ಯೂಷನ್ ಯಾವುದೇ ಒಬ್ಬೊಬ್ಬ ಸೆನ್ಸರ್‌ನಲ್ಲಿ ಉಂಟಾಗುವ ದೋಷಗಳು ಅಥವಾ ವೈಫಲ್ಯಗಳ ಪರಿಣಾಮವನ್ನು ಕೂಡ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಈ ತಂತ್ರಜ್ಞಾನವನ್ನು ಸ್ವಯಂಚಾಲಿತ ವಾಹನಗಳು (AV) ಮತ್ತು ರೋಬೋಟಿಕ್ಸ್ ಸೇರಿದಂತೆ ವಿವಿಧ ಅನ್ವಯಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ.

ಸೆನ್ಸರ್ ಫ್ಯೂಷನ್‌ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಅನ್ವಯಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ ರೋಬೋಟ್ಯಾಕ್ಸಿಗೆ ಅಳವಡಿಸಲಾದ ವಿವಿಧ ಸೆನ್ಸರ್‌ಗಳ ಸಂಯೋಜನೆ, ಇದರಲ್ಲಿ LiDARಗಳಿಂದ 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್‌ಗಳು ಮತ್ತು ಮುಂಭಾಗ, ಬದಿಯ ಹಾಗೂ ಹಿಂಭಾಗ ಕ್ಯಾಮೆರಾಗಳಿಂದ 2D ಚಿತ್ರಗಳು ಸೇರಿವೆ.

ಸೆನ್ಸಾರ್‌ಗಳು ಬೆಳಕು, ಉಷ್ಣತೆ ಮತ್ತು ಶಬ್ದದಂತಹ ಭೌತಿಕ ಉದ್ಧೀಪನಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿ ಪ್ರತಿಕ್ರಿಯಿಸುವ ಸಾಧನಗಳಾಗಿವೆ. ವಿಭಿನ್ನ ಸೆನ್ಸಾರ್‌ಗಳು ತಮ್ಮ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು ವಿಭಿನ್ನ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ಲೈಡಾರ್ ಮತ್ತು ರಾಡಾರ್ ಸೆನ್ಸಾರ್‌ಗಳು ತಮ್ಮ ಪರಿಸರವನ್ನು ಅರಿಯಲು ಲೇಸರ್‌ಗಳು ಮತ್ತು ರೇಡಿಯೋ ತರಂಗಗಳನ್ನು ಬಳಸುತ್ತವೆ, ಆದರೆ ಅಲ್ಟ್ರಾಸೋನಿಕ್ ಸೆನ್ಸಾರ್‌ಗಳು ಶಬ್ದ ತರಂಗಗಳನ್ನು ಬಳಸುತ್ತವೆ.

LiDAR (ಲೈಟ್ ಡಿಟೆಕ್ಷನ್ ಮತ್ತು ರೇಂಜಿಂಗ್)

ಉನ್ನತ ನಿಖರತೆ, ದೀರ್ಘ ದೂರ ಮತ್ತು ವೇಗವಾದ ಡೇಟಾ ಸಂಗ್ರಹಣೆ. LiDAR ಅನ್ನು AV ಮತ್ತು ರೋಬೋಟ್ಗಳಲ್ಲಿ ನಕ್ಷೆ ನಿರ್ಮಾಣ ಮತ್ತು ಅಡ್ಡಿ ತಪ್ಪಿಸುವುದಕ್ಕೆ ಅತ್ಯುತ್ತಮವಾಗಿದೆ.

ರಾಡಾರ್ (ರೇಡಿಯೋ ಪತ್ತೆ ಮತ್ತು ದೂರಮಾಪನ)

ರಾಡಾರ್ ಸೆನ್ಸಾರ್‌ಗಳು ವಿವಿಧ ಹವಾಮಾನ ಪರಿಸ್ಥಿತಿಗಳಲ್ಲಿ ಮತ್ತು ದೂರದ ದೂರಗಳಲ್ಲಿ ವಸ್ತುಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಇದರಿಂದ ಅವುಗಳನ್ನು ಅಪಘಾತ ತಪ್ಪಿಸುವಿಕೆ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಚಾಲನೆ ಮುಂತಾದ ಅನ್ವಯಗಳಿಗೆ ಆದರ್ಶವಾಗಿಸುತ್ತದೆ.

ಸೋನಾರ್ (ಸೌಂಡ್ ನ್ಯಾವಿಗೇಶನ್ ಮತ್ತು ರೇಂಜಿಂಗ್)

ಸೋನಾರ್ ಸಂವೇದಕಗಳು ಧ್ವನಿ ಅಲೆಗಳನ್ನು ಹೊರಹಾಕಿ, ಅವು ಯಾವಾಗಲೂ ಒಂದು ವಸ್ತುವಿಗೆ ತಾಗಿದ ನಂತರ ಹಿಂದಿರುಗಲು ತೆಗೆದುಕೊಳ್ಳುವ ಸಮಯವನ್ನು ಅಳೆಯುತ್ತವೆ. ರೋಬೋಟಿಕ್ಸ್ ಮತ್ತು ವಾಹನೋದ್ಯಮದಲ್ಲಿ, ಅವು ವಸ್ತುವಿನ ದೂರವನ್ನು ನಿರ್ಧರಿಸಲು ಬಳಸಬಹುದು.

ಸಂರಚಿತ ಬೆಳಕು

ಸಂರಚಿತ ಬೆಳಕು ಸಂವೇದಕಗಳು 3D ಸ್ಕ್ಯಾನರ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ವಸ್ತುವಿನ 3D ಆಯಾಮಗಳನ್ನು ಅಳೆಯುತ್ತವೆ. ಹೆಚ್ಚಿನ ರೆಸೊಲ್ಯೂಷನ್ ಮತ್ತು ನಿಖರತೆ ಅವುಗಳನ್ನು 3D ಸ್ಕ್ಯಾನಿಂಗ್ ಮತ್ತು ನಕ್ಷೆಗೊಳಿಸುವ ಅನ್ವಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿಸುತ್ತವೆ.

ಟೈಮ್-ಆಫ್-ಫ್ಲೈಟ್ (ToF) ಸೆನ್ಸಾರ್

ToF ಸೆನ್ಸರ್‌ಗಳನ್ನು ಆಳ ಸಂವೇದನೆ ತಂತ್ರಜ್ಞಾನದಿಂದ ದೂರವನ್ನು ಅಳೆಯಲು ಬಳಸಲಾಗುತ್ತದೆ. ಅವು ವೇಗವಾಗಿಯೂ ನಂಬಿಗಸ್ಥವಾಗಿಯೂ ಇರುತ್ತದೆ, ಆದ್ದರಿಂದ ಅವು ಚಲನೆ ಗುರುತಿಸುವಿಕೆ, ವಸ್ತುಗಳನ್ನು ಹತ್ತಿರದಿಂದ ಗಮನಿಸುವಿಕೆ ಮತ್ತು ರೋಬೋಟ್ ನ್ಯಾವಿಗೇಶನ್ ಅನ್ವಯಿಕೆಗಳಿಗೆ ಉತ್ತಮ ಆಯ್ಕೆಯಾಗಿವೆ.

ಸ್ಟೀರಿಯೋ ವೀಕ್ಷಣಾ ಸಂವೇದಕ

ಸ್ಟೀರಿಯೋ ವೀಕ್ಷಣಾ ಸಂವೇದಕಗಳು ಎರಡು (ಅಥವಾ ಹೆಚ್ಚು) ಸಂವೇದಕಗಳನ್ನು ಮಾನವ ದ್ವಿನೇತ್ರ ವೀಕ್ಷಣೆಯನ್ನು ಅನುಕರಿಸಲು ಬಳಸುತ್ತವೆ. ಹೆಚ್ಚಿನ ನಿಖರತೆ ಇರುವ ಆಳ ಸಂವೇದನೆ, ಉತ್ತಮ ಸ್ಥಳೀಯ ರೆಸೊಲ್ಯೂಶನ್ ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚವು ಇವುಗಳನ್ನು ಅಡ್ಡಿ ತಪ್ಪಿಸುವಿಕೆ, 3D ನಕ್ಷೆ ನಿರ್ಮಾಣ ಮತ್ತು ರೋಬೋಟ್ ನಾವಿಗೇಶನ್ ಅನ್ವಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿಸುತ್ತವೆ.

ಅಲ್ಟ್ರಾಸೋನಿಕ್ ಸೆನ್ಸಾರ್

ಅಲ್ಟ್ರಾಸೋನಿಕ್ ಸೆನ್ಸಾರ್‌ಗಳು ಕಡಿಮೆ ವೆಚ್ಚದವು, ಬಳಸಲು ಸುಲಭವಾಗಿವೆ ಮತ್ತು ವಿವಿಧ ರೀತಿಯ ವಸ್ತುಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಇದರಿಂದ ಅವುಗಳನ್ನು ಪಾರ್ಕಿಂಗ್ ಸಹಾಯ ಮತ್ತು ವಸ್ತು ಪತ್ತೆಹಚ್ಚುವಂತಹ ಅನ್ವಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ.

ಹಂತ 1: ಡೇಟಾವನ್ನು ಓವರ್‌ಲೆ ಮಾಡಿ

• ಮೊದಲನೆಯ ಹಂತವೆಂದರೆ ಎಲ್ಲಾ ಸಂವೇದಕ ವೀಕ್ಷಣಗಳನ್ನು ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮಾಡಿ ಸರಿಹೊಂದಿಸುವುದು, ನಂತರ ನಿಮ್ಮ ಎಲ್ಲಾ ಡೇಟಾವನ್ನು ಒಂದೇ ವೀಕ್ಷಣೆಗೆ ಓವರ್‌ಲೇ ಮಾಡುವುದು. ಈ ಸಂಯೋಜಿತ ವೀಕ್ಷಣೆ ನಿಮ್ಮ ಲೇಬಲರ್‌ಗೆ ಹೆಚ್ಚಿನ ಸನ್ನಿವೇಶವನ್ನು ನೀಡುತ್ತದೆ, ಇದರಿಂದ ಅದು ಯಾವ ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಗುಂಪುಗಳು ಏನೆಂದು ಗುರುತಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ಹಂತ 2: 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್‌ಗಳನ್ನು ಲೇಬಲ್ ಮಾಡಿ

• ನಾವು ಕೆಲವು ಕಾರಣಗಳಿಗಾಗಿ ನೀವು 2D ಗೆ ಪ್ರೊಜೆಕ್ಟ್ ಮಾಡುವ ಮೊದಲು 3D ನಲ್ಲಿ ಲೇಬಲ್ ಹಾಕುವುದನ್ನು ಸಲಹೆ ಮಾಡುತ್ತೇವೆ, ಇದು ಸ್ವಲ್ಪ ವಿರೋಧಾಭಾಸವಾಗಿರಬಹುದು. ಮೊದಲಿಗೆ 3D ನಲ್ಲಿ ಲೇಬಲ್ ಹಾಕುವುದು ಬಹುಪಾಲು ಸಂದರ್ಭಗಳಲ್ಲಿ ಬಹಳ ಪರಿಣಾಮಕಾರಿಯಾಗಿರುವುದು ಸಾಬೀತಾಗುತ್ತದೆ, ನಿಮ್ಮ ಮುಖ್ಯ ಆಸಕ್ತಿ 2D ಲೇಬಲ್‌ಗಳನ್ನು ಪಡೆಯುವುದಾದರೂ ಸಹ.
• ನೀವು ಸ್ಥಿರವಾದ ವಸ್ತುವಿನ ಪಕ್ಕದಲ್ಲಿ ಚಾಲನೆ ಮಾಡುತ್ತಿರುವಿರಿ ಎಂದು ಕಲ್ಪಿಸಿ, ಉದಾಹರಣೆಗೆ ಟ್ರಾಫಿಕ್ ಚಿಹ್ನೆ. ಅನೇಕ ಕ್ಯಾಮೆರಾಗಳನ್ನು ಹೊಂದಿರುವ ಈ ಟ್ರಾಫಿಕ್ ಚಿಹ್ನೆ ನೀವು ಹಾದುಹೋಗುವಾಗ ಸುಮಾರು 100 ಫ್ರೇಮ್‌ಗಳಲ್ಲಿ ಮೂರು ಕ್ಯಾಮೆರಾಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ.
• ಈ ಪರಿಸ್ಥಿತಿಯನ್ನು 2D ಬೌಂಡಿಂಗ್ ಬಾಕ್ಸ್‌ಗಳನ್ನು ಬಳಸಿ ಅನೋಟೇಟ್ ಮಾಡುವುದಾದರೆ, ನೀವು ಒಟ್ಟು 300 ಉದಾಹರಣೆಗಳನ್ನು ಲೇಬಲ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಆದರೆ, 3D ಸ್ಪೇಸ್‌ನಲ್ಲಿ, ಈ ಸ್ಥಿರವಾದ, ಚಲನೆಯಿಲ್ಲದ ಟ್ರಾಫಿಕ್ ಸೈನ್ ಅನ್ನು ಅನೋಟೇಟ್ ಮಾಡುವುದಕ್ಕೆ ಒಂದು ಕ್ಯೂಬಾಯ್ಡ್ ಅನೋಟೇಶನ್ ಮಾತ್ರ ಬೇಕಾಗುತ್ತದೆ.
• 3D ಕ್ಯೂಬಾಯ್ಡ್‌ಗೆ ಲೇಬಲ್ ಹಾಕುವುದು 2D ಬೌಂಡಿಂಗ್ ಬಾಕ್ಸ್‌ಗೆ ಟ್ಯಾಗ್ ಹಾಕುವುದಕ್ಕಿಂತ ಮೂರು ಪಟ್ಟು ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದಾದರೂ, ಚಿತ್ರಗಳಲ್ಲಿ ನೇರವಾಗಿ ಲೇಬಲ್ ಹಾಕುವುದಕ್ಕಿಂತ ಇದು ಇನ್ನೂ 100 ಪಟ್ಟು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ.

ಹಂತ 3: 2D ಚಿತ್ರಗಳಿಗೆ ಪ್ರೊಜೆಕ್ಟ್ ಮಾಡಿ

• ನೀವು ನಿಮ್ಮ 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್‌ಗಳಿಗೆ ಲೇಬಲ್ ಹಾಕಿದ ನಂತರ, ಅವುಗಳನ್ನು ನಿಮ್ಮ 2D ಚಿತ್ರ ಡೇಟಾಗೆ ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮತ್ತು ಅಲೈನ್ ಮಾಡಬಹುದು. Segments.ai ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಆಬ್ಜೆಕ್ಟ್ IDಗಳನ್ನು 2D ಡೇಟಾಗೆ ನಕಲಿಸುತ್ತದೆ, ಇದರಿಂದ ನೀವು ಬೌಂಡಿಂಗ್ ಬಾಕ್ಸ್‌ಗಳನ್ನು ಚಿತ್ರಿಸಲು ಬೇಕಾಗುವ ಗಂಟೆಗಳ ಸಮಯವನ್ನು ಉಳಿಸಬಹುದು. ಗುಣಮಟ್ಟ ನಿಯಂತ್ರಣ ಪರಿಶೀಲನೆಯ ಸಮಯದಲ್ಲಿ ನೀವು ಸಣ್ಣ ತಿದ್ದುಪಡಿ ಮಾತ್ರ ಮಾಡಬೇಕಾಗುತ್ತದೆ.

AV ಮತ್ತು ರೋಬೋಟಿಕ್ಸ್ ಕಂಪನಿಗಳಲ್ಲಿ ಯಂತ್ರ ಅಧ್ಯಯನ (ML) ಮಾದರಿಗಳಲ್ಲಿ ತಡ ಫ್ಯೂಷನ್ ವಿಧಾನದಿಂದ ಆರಂಭಿಕ ಫ್ಯೂಷನ್ ವಿಧಾನಕ್ಕೆ ಬದಲಾವಣೆ ಹೆಚ್ಚಾಗಿ ಕಂಡುಬರುತ್ತಿದೆ.

ಲೆಟ್ ಫ್ಯೂಷನ್ ಪ್ರತಿ ಬಳಕೆ ಮಾಡಲಾಗುವ ಸೆನ್ಸರ್‌ಗಾಗಿ ಪ್ರತ್ಯೇಕ ಎಂಎಲ್ ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದನ್ನು ಒಳಗೊಂಡಿದೆ, ಇದು ಪ್ರತ್ಯೇಕ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಈ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ನಂತರ ಒಟ್ಟಿಗೆ ಮಿಶ್ರಣಗೊಳಿಸಿ ಅಥವಾ ಫ್ಯೂಸ್ ಮಾಡಿ ದೃಶ್ಯದ ಸಮ್ಮಿಲಿತ 3D ಪ್ರತಿನಿಧಿಯನ್ನು ರಚಿಸಲಾಗುತ್ತದೆ. ಇದರಲ್ಲಿ ಅನೇಕ ಮಾದರಿಗಳನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಚಾಲನೆ ಮಾಡಿ, ಅವುಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ನಂತರ ಸಂಯೋಜಿಸುವುದು ಸೇರಿದೆ.

ಆದಿಕಾಲದ ಫ್ಯೂಷನ್ ಒಂದು ಆಧುನಿಕವಾದ ವಿಧಾನವನ್ನು ಅನುಸರಿಸುತ್ತದೆ. ಪ್ರತಿ ಸಂವೇದಕಕ್ಕಾಗಿ ಪ್ರತ್ಯೇಕ ಮಾದರಿಗಳನ್ನು ಬಳಸುವ ಬದಲು, ಎಲ್ಲಾ ಸಂವೇದಕ ಡೇಟಾವನ್ನು ಒಂದೇ ಎಂಎಲ್ ಮಾದರಿಗೆ ನೀಡಲಾಗುತ್ತದೆ. ಈ ಏಕೀಕೃತ ಮಾದರಿ ನೇರವಾಗಿ 3D ಸ್ಥಳದಲ್ಲಿ ಭವಿಷ್ಯವಾಣಿ ಮಾಡಲು ರೂಪುಗೊಳಿಸಲಾಗಿದೆ.

ಆರಂಭಿಕ ಫ್ಯೂಷನ್ ಪರಿಣಾಮಕಾರಿಯಾಗಿರಲು, ವಾಕ್ಸೆಲ್ ಗ್ರಿಡ್‌ಗಳು ದೃಶ್ಯವನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಉತ್ತಮ ವಿಧಾನವಾಗಿವೆ. ವಾಕ್ಸೆಲ್ ಗ್ರಿಡ್‌ಗಳು ನಿಯಮಿತ ರಚನೆಯನ್ನು ಹೊಂದಿರುವುದರಿಂದ, ಈ ವಿಧಾನಕ್ಕೆ ಸೂಕ್ತವಾಗಿವೆ. ಅವುಗಳನ್ನು ಟೆನ್ಸರ್‌ಗಳಂತೆ ಕಲ್ಪಿಸಬಹುದು, ಇದರಿಂದ ಎಂಡ್-ಟು-ಎಂಡ್ ಮುನ್ಸೂಚನೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಇನ್‌ಪುಟ್‌ನಿಂದ ಔಟ್‌ಪುಟ್‌ವರೆಗೆ ಸಂಪೂರ್ಣ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಒಂದೇ ಮಾದರಿಯ ಮೂಲಕ ಮುನ್ಸೂಚಿಸಬಹುದು.