Fizična umetna inteligenca zbira podatke iz resničnega sveta s pomočjo senzorjev, kot so kamera, lidar in radar, da omogoči modelom umetne inteligence, ki so uporabljeni v avtonomnih sistemih in robotih, razumevanje fizičnega prostora, da lahko delujejo v dejanskih razmerah.

Združevanje podatkov iz senzorjev je postopek kombiniranja podatkov iz več senzorjev za izboljšanje natančnosti in zanesljivosti informacij. S povezovanjem informacij iz različnih vrst senzorjev (kot so LiDAR, radar in kamere) lahko sistem ustvari bolj celovito sliko okolja. Združevanje podatkov iz senzorjev lahko tudi zmanjša vpliv napak ali okvar posameznega senzorja. Ta tehnologija se uporablja v različnih aplikacijah, vključno z avtonomnimi vozili (AV) in robotiko.

Ena najpogostejših uporab združevanja senzorjev je kombinacija različnih senzorjev, nameščenih na robotaksiju, vključno s 3D točkovnimi oblaki iz LiDAR-jev in 2D slikami s sprednjih, stranskih in zadnjih kamer.

Senzorji so naprave, ki zaznavajo in se odzivajo na fizične dražljaje, kot so svetloba, toplota in zvok. Različni senzorji uporabljajo različne tehnologije za izvajanje svojih funkcij. Na primer, senzorji LiDAR in radar uporabljajo laserje in radijske valove za zaznavanje okolice, medtem ko ultrazvočni senzorji uporabljajo zvočne valove.

LiDAR (svetlobno zaznavanje in določanje razdalje)

Visoka natančnost, dolg doseg in hitro zajemanje podatkov. LiDAR je idealen za kartiranje in izogibanje oviram pri avtonomnih vozilih in robotih.

RADAR (radijsko zaznavanje in merjenje razdalje)

Radarski senzorji lahko zaznajo predmete v različnih vremenskih razmerah in na velikih razdaljah, zato so idealni za uporabo pri preprečevanju trkov in avtonomni vožnji.

SONAR (zvočna navigacija in določanje razdalje z zvočnimi valovi)

Senzorji za sonar oddajajo zvočne valove in merijo čas, ki je potreben, da se valovi odbijejo nazaj po trku z objektom. V robotiki in avtomobilski industriji jih lahko uporabimo za določanje razdalje do objekta.

Strukturirana svetloba

Senzorji s strukturirano svetlobo uporabljajo 3D skener za merjenje 3D dimenzij predmeta. Visoka ločljivost in natančnost jih naredita primerne za aplikacije 3D skeniranja in mapiranja.

Senzor Time-of-Flight (ToF)

ToF senzorji se uporabljajo za merjenje razdalje s tehnologijo zaznavanja globine. So hitri in zanesljivi, zato so dobra izbira za prepoznavanje gest, sledenje predmetom in navigacijo robotov.

Stereo vidni senzor

Senzorji za stereo vid uporabljajo dva (ali več) senzorjev za simulacijo človeškega binokularnega vida. Visokonatančno zaznavanje globine, dobra prostorska ločljivost in nizki stroški jih naredijo primerne za izogibanje oviram, 3D-zemljevidenje in navigacijo robotov.

Ultrazvočni senzor

Ultrazvočni senzorji so cenovno ugodni, enostavni za uporabo in lahko zaznajo širok nabor materialov, zato so primerni za uporabo pri parkirni asistenci in zaznavanju predmetov.

1. korak: Prekrijte podatke

• Prvi korak je umerjanje in poravnava vseh pogledov senzorjev, nato pa združitev vseh vaših podatkov v enoten pogled. Ta združeni pogled vašemu označevalcu omogoča več konteksta, kar mu omogoča, da prepozna, katere skupine oblakov točk predstavljajo.

2. korak: Označite 3D oblake točk

• Svetujemo, da najprej označujete v 3D, preden projicirate v 2D, iz več razlogov, čeprav se to morda zdi nelogično. Označevanje najprej v 3D se pogosto izkaže za bistveno učinkovitejše, tudi če vas predvsem zanimajo 2D oznake.
• Predstavljajte si, da se peljete mimo nepremičnega objekta, kot je prometni znak. Ta prometni znak, opremljen z več kamerami, ostane viden v treh od njih, ko se peljete mimo, in je zajet na približno 100 sličicah.
• Označevanje tega scenarija z uporabo 2D omejitvenih polj bi zahtevalo označevanje skupno 300 primerov. Vendar pa bi v 3D prostoru označevanje tega statičnega, nepremičnega prometnega znaka zahtevalo le eno označbo v obliki kocke.
• Čeprav označevanje 3D-kuboidov traja trikrat dlje kot označevanje 2D-okvirjev, je še vedno 100-krat učinkovitejše kot neposredno označevanje na slikah.

Korak 3: Pretvorba v 2D slike

• Ko označite svoje 3D oblake točk, jih lahko umerite in poravnate s svojimi 2D slikovnimi podatki. Segments.ai bo samodejno prenesel ID-je objektov na 2D podatke, kar vam prihrani ure risanja omejitvenih polj. Med preverjanjem kakovosti boste morali narediti le manjše prilagoditve.

Prehod iz pristopa pozne združitve na pristop zgodnje združitve postaja vse bolj razširjen med podjetji za avtonomna vozila in robotiko pri njihovih modelih strojnega učenja (ML).

Pozna fuzija vključuje uporabo ločenih modelov strojnega učenja za vsak uporabljen senzor, ki ustvarijo posamezne izhode. Ti izhodi se nato združijo oziroma spojijo, da nastane celovita 3D-predstavitev prizora. Postopek vključuje neodvisno izvajanje več modelov in kasnejše združevanje njihovih rezultatov.

Zgodnja fuzija uporablja sodobnejši pristop. Namesto uporabe ločenih modelov za vsak senzor se vsi podatki senzorjev vnesejo v en sam model strojnega učenja. Ta enotni model je zasnovan tako, da neposredno podaja napovedi v 3D-prostoru.

Za učinkovito zgodnjo združevanje se kot prednostna predstavitev prizora izkažejo vokselne mreže. Vokselne mreže imajo urejeno strukturo, zaradi česar so zelo primerne za ta pristop. Lahko jih obravnavamo kot tenzorje, kar omogoča napovedovanje od začetka do konca. Celoten postopek, od vnosa do izhoda, je mogoče napovedati z enim samim modelom.