Füüsiline tehisintellekt kogub reaalmaailma andmeid sensorite abil, nagu kaamerad, valguse tuvastamise ja kauguse mõõtmise süsteemid (LiDAR) ning radarid, et võimaldada autonoomsetes süsteemides ja robotites kasutatavatel tehisintellektimudelitel mõista füüsilist ruumi ning toimida reaalsetes tingimustes.

Andurite liitmine on protsess, mille käigus ühendatakse andmeid mitmest andurist, et parandada teabe täpsust ja usaldusväärsust. Erinevat tüüpi andurite (näiteks LiDAR, radari ja kaamerate) teabe ühendamisega saab süsteem luua ümbritsevast keskkonnast terviklikuma pildi. Andurite liitmine aitab samuti vähendada üksiku anduri vigade või rikete mõju. Seda tehnoloogiat kasutatakse mitmesugustes rakendustes, sealhulgas autonoomsetes sõidukites (AV) ja robootikas.

Üks levinumaid sensorite ühendamise rakendusi on erinevate andurite kombineerimine robotaksodel, sealhulgas 3D-pilved LiDAR-anduritest ning 2D-pildid esi-, külg- ja tagakaameratest.

Andurid on seadmed, mis tuvastavad ja reageerivad füüsilistele stiimulitele, nagu valgus, soojus ja heli. Erinevad andurid kasutavad oma funktsioonide täitmiseks erinevaid tehnoloogiaid. Näiteks LiDAR- ja radariandurid kasutavad oma keskkonna tajumiseks lasereid ja raadiolaineid, samas kui ultraheliandurid kasutavad helilaineid.

LiDAR (valguse tuvastamine ja kauguse mõõtmine)

Kõrge täpsus, pikk mõõteulatus ja kiire andmete kogumine. LiDAR sobib suurepäraselt kaardistamiseks ja takistuste vältimiseks isesõitvates sõidukites ja robotites.

RADAR (raadiolainete abil tuvastamine ja kauguse mõõtmine)

Need sensorid suudavad tuvastada objekte erinevates ilmastikutingimustes ja pika vahemaa tagant, mistõttu sobivad need ideaalselt kokkupõrgete vältimiseks ja isesõitvate sõidukitega juures kasutamiseks.

SONAR (helilainete abil navigeerimine ja kauguse mõõtmine)

Sonarisensorid saadavad välja helilaineid ja mõõdavad aega, mis kulub lainetel pärast objekti tabamist tagasi peegeldumiseks. Robotikas ja autotööstuses saab neid kasutada objekti kauguse määramiseks.

Struktureeritud valgus

Struktureeritud valgussensorid kasutavad 3D-skannerit objekti 3D-mõõtmete mõõtmiseks. Kõrge lahutusvõime ja täpsus muudavad need sobivaks 3D-skaneerimise ja kaardistamise rakendusteks.

Lennuaja (ToF) andur

ToF-andureid kasutatakse kauguse mõõtmiseks sügavustuvastustehnoloogia abil. Need on kiired ja töökindlad, mistõttu sobivad need hästi žestide tuvastamiseks, objektide jälgimiseks ja robotite navigeerimiseks.

Stereo-visiooni sensor

Stereo-visiooni sensorid kasutavad kahte (või enamat) sensorit, et jäljendada inimese kahe silmaga nägemist. Suur täpsus sügavuse mõõtmisel, hea ruumiline eraldusvõime ja madal hind muudavad need sobivaks takistuste vältimiseks, 3D-kaardistamiseks ja robotite navigeerimise rakendusteks.

Ultraheliandur

Ultraheliandurid on odavad, lihtsasti kasutatavad ning suudavad tuvastada erinevaid materjale, mistõttu sobivad need hästi näiteks parkimisabisüsteemidesse ja objektide tuvastamiseks.

Samm 1: Kata andmed üle

• Esimene samm on kõigi sensorivaadete kalibreerimine ja joondamine, seejärel kogu sinu andmete ühtsesse vaatesse koondamine. See ühendatud vaade annab märgistajale rohkem konteksti, võimaldades tal tuvastada, milliseid punktipilvede gruppe need kujutavad.

Samm 2: Märgista 3D punktipilved

• Soovitame esmalt märgistada 3D-s enne 2D-le projitseerimist mitmel põhjusel, isegi kui see võib tunduda ebaloogiline. Märgistamine esmalt 3D-s osutub sageli märkimisväärselt tõhusamaks, isegi kui sinu peamine huvi on saada 2D-märgiseid.
• Kujutle, et sõidad mööda paigalolevast objektist, näiteks liiklusmärgist. Mitme kaameraga varustatud liiklusmärk jääb möödasõidu ajal kolmes neist kaameratest nähtavaks umbes 100 kaadri ulatuses.
• Selle stsenaariumi märgistamine 2D piirjoontega nõuaks kokku 300 eksemplari märgistamist. Kuid 3D-ruumis tähendaks selle staatilise, liikumatu liiklusmärgi märgistamine vaid ühe kuubiku lisamist.
• Kuigi 3D-kuubi märgistamine võtab kolm korda rohkem aega kui 2D-piirkonna märgistamine, on see siiski 100 korda tõhusam kui otse piltidel märgistamine.

Samm 3: Projektsioon 2D-piltidele

• Kui oled oma 3D punktipilved märgistanud, saad need kalibreerida ja joondada oma 2D pildianmetega. Segments.ai kopeerib automaatselt objektide ID-d 2D andmetesse, säästes sulle tunde, mis muidu kuluks piiritluskarpide joonistamisele. Kvaliteedikontrolli käigus on vaja teha vaid väikeseid kohandusi.

Üleminek hilise liitmise lähenemisviisilt varajase liitmise lähenemisviisile muutub isesõitvate sõidukite (AV) juures ja robootikaettevõtete masinõppemudelites üha levinumaks.

Hiline liitmine tähendab seda, et iga kasutatud anduri jaoks kasutatakse eraldi masinõppe mudeleid, mis loovad individuaalsed väljundid. Need väljundid ühendatakse või liidetakse, et moodustada keskkonnast ühtne 3D-kujutis. See tähendab, et mitu mudelit töötavad iseseisvalt ning nende tulemused ühendatakse hiljem.

Varajane liitmine kasutab kaasaegsemat lähenemist. Selle asemel, et iga anduri jaoks kasutada eraldi mudeleid, suunatakse kõikide andurite andmed ühte masinõppe mudelisse. See ühtne mudel on loodud tegema ennustusi 3D-ruumi siseselt.

Varajase andmeühendamise tõhusaks rakendamiseks on vokselvõrgud sobiv ja eelistatud keskkonnaesituse vorm. Vokselvõrgud on korrapärase struktuuriga, mis muudab need sellele lähenemisele hästi sobivaks. Neid saab kujutada tensoritena, võimaldades masinõppemudelil teha ennustusi otsast lõpuni. Kogu protsessi, sisendist väljundini, saab ennustada ühe mudeliga.