ఫిజికల్ AI సెన్సర్లు ఉపయోగించి వాస్తవ ప్రపంచ డేటాను సేకరిస్తుంది, ఉదాహరణకు కెమెరా, లైట్ డిటెక్షన్ అండ్ రేంజింగ్ (LiDAR), మరియు రాడార్ వంటి వాటిని ఉపయోగించి, స్వయంచాలక వ్యవస్థలు మరియు రోబోట్ల కోసం అమర్చిన AI మోడళ్లకు భౌతిక స్థలాన్ని అర్థం చేసుకునేలా చేస్తుంది, తద్వారా అవి వాస్తవ ప్రపంచ పరిస్థితుల్లో పనిచేయగలుగుతాయి.

సెన్సార్ ఫ్యూజన్ అనేది అనేక సెన్సార్ల నుండి డేటాను కలిపి సమాచారపు ఖచ్చితత్వం మరియు నమ్మకాన్ని మెరుగుపరిచే ప్రక్రియ. వివిధ రకాల సెన్సార్ల నుండి (ఉదాహరణకు LiDAR, రాడార్, మరియు కెమెరాలు) సమాచారాన్ని కలిపి, ఒక వ్యవస్థ పరిసరాల గురించి మరింత సంపూర్ణమైన దృశ్యాన్ని సృష్టించగలదు. సెన్సార్ ఫ్యూజన్ ద్వారా ఏదైనా ఒక్క సెన్సార్‌లో తప్పిదాలు లేదా వైఫల్యాలు వచ్చినా వాటి ప్రభావాన్ని తగ్గించవచ్చు. ఈ సాంకేతికతను స్వయంచాలక వాహనాలు (AV) మరియు రోబోటిక్స్ వంటి విభిన్న అనువర్తనాల్లో ఉపయోగిస్తున్నారు.

సెన్సార్ ఫ్యూషన్ యొక్క అత్యంత సాధారణ ఉపయోగాలలో ఒకటి, రోబోటాక్సీపై అమర్చిన వివిధ సెన్సార్లను కలిపి ఉపయోగించడం, ఇందులో LiDARల నుండి వచ్చే 3D పాయింట్ క్లౌడ్స్ మరియు ముందు, వైపు, వెనుక కెమెరాల నుండి వచ్చే 2D చిత్రాలు ఉన్నాయి.

సెన్సర్లు అనేవి కాంతి, వేడి, శబ్దం వంటి భౌతిక ఉత్తేజాలను గుర్తించి స్పందించే పరికరాలు. వివిధ సెన్సర్లు తమ పనులను నిర్వహించడానికి వేర్వేరు సాంకేతికతలను ఉపయోగిస్తాయి. ఉదాహరణకు, LiDAR మరియు రాడార్ సెన్సర్లు తమ పరిసరాలను గుర్తించడానికి లేజర్లు మరియు రేడియో తరంగాలను ఉపయోగిస్తాయి, కాగా అల్ట్రాసోనిక్ సెన్సర్లు శబ్ద తరంగాలను ఉపయోగిస్తాయి.

LiDAR (లైట్ డిటెక్షన్ అండ్ రేంజింగ్)

అత్యంత ఖచ్చితత్వం, దీర్ఘ పరిధి, మరియు వేగవంతమైన డేటా సేకరణ. LiDAR అనేది AV మరియు రోబోట్లలో మ్యాపింగ్ మరియు అడ్డంకులను నివారించడానికి అనువైనది.

RADAR (రేడియో డిటెక్షన్ అండ్ రేంజింగ్)

రాడార్ సెన్సార్లు వివిధ వాతావరణ పరిస్థితుల్లోను, దీర్ఘ దూరాల్లోను వస్తువులను గుర్తించగలవు, అందువల్ల అవి ఢీకొనడం నివారణ మరియు స్వయంచాలక డ్రైవింగ్ వంటి అనువర్తనాలకు అనుకూలంగా ఉంటాయి.

SONAR (సౌండ్ నావిగేషన్ అండ్ రేంజింగ్)

సోనార్ సెన్సార్లు శబ్ద తరంగాలను విడుదల చేసి, అవి ఒక వస్తువును తాకిన తర్వాత తిరిగి వచ్చే వరకు పడే సమయాన్ని కొలుస్తాయి. రోబోటిక్స్ మరియు ఆటోమోటివ్ రంగాలలో, ఇవి వస్తువుకు దూరాన్ని నిర్ణయించడానికి ఉపయోగించవచ్చు.

స్ట్రక్చర్డ్ లైట్

స్ట్రక్చర్డ్ లైట్ సెన్సర్లు ఒక వస్తువు యొక్క 3D కొలతలను కొలవడానికి 3D స్కానర్‌ను ఉపయోగిస్తాయి. అధిక రిజల్యూషన్ మరియు ఖచ్చితత్వం వీటిని 3D స్కానింగ్ మరియు మ్యాపింగ్ అప్లికేషన్లకు అనుకూలంగా చేస్తాయి.

టైమ్-ఆఫ్-ఫ్లైట్ (ToF) సెన్సార్

ToF సెన్సర్లు లోతు గుర్తింపు సాంకేతికతతో దూరాన్ని కొలవడానికి ఉపయోగిస్తారు. ఇవి వేగంగా మరియు నమ్మదగినవిగా ఉంటాయి కాబట్టి, ఇవి జెస్టర్ గుర్తింపు, వస్తువుల ట్రాకింగ్, మరియు రోబోట్ నావిగేషన్ అప్లికేషన్లకు మంచి ఎంపిక.

స్టీరియో విజన్ సెన్సార్

స్టీరియో విజన్ సెన్సార్లు రెండు (లేదా అంతకంటే ఎక్కువ) సెన్సార్లను ఉపయోగించి మానవ ద్వినేత్ర దృష్టిని అనుకరిస్తాయి. అధిక ఖచ్చితమైన లోతు గుర్తింపు, మంచి స్థల పరిష్కరణ, మరియు తక్కువ ఖర్చు వీటిని అడ్డంకులను నివారించడం, 3D మ్యాపింగ్, మరియు రోబోట్ నావిగేషన్ అప్లికేషన్లకు అనుకూలంగా చేస్తాయి.

అల్ట్రాసోనిక్ సెన్సార్

అల్ట్రాసోనిక్ సెన్సర్లు తక్కువ ఖర్చుతో, ఉపయోగించడానికి సులభంగా ఉండి, విస్తృత శ్రేణి పదార్థాలను గుర్తించగలవు. అందువల్ల ఇవి పార్కింగ్ సహాయం మరియు వస్తువుల గుర్తింపు వంటి అనేక అనువర్తనాలకు అనుకూలంగా ఉంటాయి.

దశ 1: డేటాను ఓవర్‌లే చేయండి

• మొదటి దశలో అన్ని సెన్సార్ వీక్షణలను కేలిబ్రేట్ చేసి సరిచేయాలి, తరువాత మీ డేటాను మొత్తం ఒకే వీక్షణలో ఓవర్‌లే చేయాలి. ఈ విలీనమైన వీక్షణం మీ లేబులర్‌కు మరింత సందర్భాన్ని ఇస్తుంది, దాంతో అది పాయింట్ క్లౌడ్ల సమూహాలు ఏమిని సూచిస్తున్నాయో చెప్పగలుగుతుంది.

దశ 2: 3D పాయింట్ క్లౌడ్స్‌కు లేబుల్ ఇవ్వండి

• మీరు 2Dకి ప్రొజెక్ట్ చేయడానికి ముందు 3Dలో లేబుల్ చేయాలని మేము కొన్ని కారణాల వల్ల సలహా ఇస్తున్నాము, ఇది కొంతవరకు విరుద్ధంగా అనిపించవచ్చు. ముందుగా 3Dలో లేబుల్ చేయడం చాలా సమర్థవంతంగా ఉంటుందని తరచుగా తేలుతుంది, మీ ప్రధాన ఆసక్తి 2D లేబుల్స్ పొందడంలో ఉన్నా కూడా.
• మీరు ఒక స్థిరమైన వస్తువు, ఉదాహరణకు ట్రాఫిక్ సైన్, పక్కగా డ్రైవ్ చేస్తూ ఉన్నారని ఊహించండి. అనేక కెమెరాలతో అమర్చబడిన ఈ ట్రాఫిక్ సైన్ మీరు పక్కగా వెళ్లేటప్పుడు మూడు కెమెరాల్లో కనిపిస్తుంది, ఇది సుమారు 100 ఫ్రేమ్‌ల వరకు విస్తరించి ఉంటుంది.
• ఈ సందర్భాన్ని 2D బౌండింగ్ బాక్సులతో అనోటేట్ చేయాలంటే, మీరు మొత్తం 300 ఉదాహరణలను లేబుల్ చేయాల్సి ఉంటుంది. అయితే, 3D స్పేస్‌లో, ఈ స్థిరంగా ఉండే, కదలని ట్రాఫిక్ సైన్‌ను అనోటేట్ చేయడం ఒక్క క్యూబాయిడ్ అనోటేషన్‌తో పూర్తవుతుంది.
• 3D క్యూబాయిడ్‌ను లేబుల్ చేయడం 2D బౌండింగ్ బాక్స్‌ను అనోటేట్ చేయడానికంటే మూడు రెట్లు ఎక్కువ సమయం పడినా, చిత్రాల్లో నేరుగా లేబుల్ చేయడానికంటే ఇది ఇంకా 100 రెట్లు సమర్థవంతంగా ఉంటుంది.

దశ 3: 2D చిత్రాలకు ప్రాజెక్ట్ చేయండి

• మీరు మీ 3D పాయింట్ క్లౌడ్స్‌కు లేబుల్‌లు ఇచ్చిన తర్వాత, వాటిని మీ 2D ఇమేజ్ డేటాతో కేలిబ్రేట్ చేసి అలైన్ చేయవచ్చు. Segments.ai ఆటోమేటిక్‌గా ఆబ్జెక్ట్ IDలను 2D డేటాకు కాపీ చేస్తుంది, తద్వారా మీరు బౌండింగ్ బాక్సులు డ్రా చేయడంలో గంటల సమయం ఆదా అవుతుంది. మీరు క్వాలిటీ కంట్రోల్ చెక్ సమయంలో చిన్న మార్పులు మాత్రమే చేయాల్సి ఉంటుంది.

AV మరియు రోబోటిక్స్ కంపెనీలలో వారి మెషిన్ లెర్నింగ్ (ML) మోడళ్లలో లేట్ ఫ్యూజన్ విధానంనుండి ఎర్లీ ఫ్యూజన్ విధానానికి మార్పు ఎక్కువగా కనిపిస్తోంది.

లేట్ ఫ్యూషన్ అనేది ప్రతి సెన్సార్‌కు వేర్వేరు ML మోడళ్లను ఉపయోగించడం, ఇవి వ్యక్తిగత అవుట్‌పుట్‌లను ఉత్పత్తి చేస్తాయి. ఈ అవుట్‌పుట్‌లను తర్వాత కలిపి లేదా ఫ్యూస్ చేసి, సన్నివేశానికి ఒక సమగ్ర 3D ప్రాతినిధ్యాన్ని సృష్టిస్తారు. ఇందులో అనేక మోడళ్లను స్వతంత్రంగా నడిపి, వాటి ఫలితాలను తరువాత కలిపే ప్రక్రియ ఉంటుంది.

ప్రారంభ ఫ్యూజన్ ఒక ఆధునిక దృక్పథాన్ని అనుసరిస్తుంది. ప్రతి సెన్సార్‌కి వేర్వేరు మోడళ్లను ఉపయోగించడానికి బదులుగా, అన్ని సెన్సార్ డేటాను ఒకే ML మోడల్‌లోకి పంపిస్తారు. ఈ ఏకీకృత మోడల్ 3D స్థలంలో నేరుగా అంచనాలు చేయడానికి రూపొందించబడింది.

ప్రారంభ విలీనాన్ని సమర్థవంతంగా చేయడానికి, వాక్సెల్ గ్రిడ్లు దృశ్యాన్ని ప్రాతినిధ్యం చేయడంలో లాభదాయకమైన రూపాన్ని అందిస్తాయి. వాక్సెల్ గ్రిడ్లు నియమిత నిర్మాణాన్ని ప్రదర్శిస్తాయి, ఇది ఈ విధానానికి అనుకూలంగా ఉంటుంది. వీటిని టెన్సర్లుగా భావించవచ్చు, తద్వారా ఎండ్-టు-ఎండ్ అంచనాకు అనుమతిస్తుంది. ఇన్‌పుట్ నుండి అవుట్‌పుట్ వరకు మొత్తం ప్రక్రియను ఒకే మోడల్ ఉపయోగించి అంచనా వేయవచ్చు.